逐篇讲解DeepSeek、Kimi、MiniMax注意力机制新论文（含投屏版）——“硬件上的暴力美学”

摘要

• 三家公司押注的是同一个成本瓶颈：长思维链与长文档正把 attention 的 O(n²) 计算和线性增长的 KV cache 推到 test-time scaling 的中心。 DeepSeek、Kimi 选择 Dynamic Sparse Attention，MiniMax-01 则以 7 层 Lightning Attention 配 1 层 Softmax attention；路线不同，目标都是让 prefill、训练与 decoding 更便宜。若性能能与传统 attention 持平，松琳认为高效架构省下的 inference 预算就可以转化为更长的推理时间。
• DeepSeek 的 Native Sparse Attention（NSA）是三篇工作里最强的技术信号，因为它不只近似 full attention，而是从头预训练后在 loss、下游长文本与 reasoning 评测上都可能更好。 其 Triton kernel 在 64K 序列附近相对 Triton 版 full-attention kernel 接近 10 倍加速，短至 8K、16K 已出现明显优势；松琳称其“既要 efficiency，又要 performance”，并给出“八成是会为之后的 V4 来服务”的主观判断。
• NSA 的护城河不是三个分支本身，而是把算法、GQA 和 GPU 数据流锁成了一套“硬件上的暴力美学”。 它用 compressed、selected、sliding-window 三路 attention，并强制同一 GQA group 的 heads 选择相同 KV blocks；再以 head 维度凑 Tensor Core 擅长的矩阵乘法，减少 KV cache 重复读取。代价是结构不够“洁癖”，但 DeepSeek 用增加 head 数量、保留多个 query groups 和额外分支补回表达能力，“像刀尖舔血一样”守住效率原则。
• Kimi 的 MoBA 走向相反：以 mean pooling 表示 block，只留下 selected-attention 主干，依靠“SGD 的力量”完成路由，换来无新增参数和 full/sparse attention 自由切换。 极简的成本也很具体：独立 head 选择引入 indexing/reindexing，因而采用 512-token block、Top 3，而 NSA 是 64-token block、Top 16；MoBA 在 128K 时仍没有明显速度优势，SFT 时还需把最后 3 层切回 full attention 解决梯度稀疏。不过它测到 100 万 token，并据称已经进入 Kimi 产品，属于真正“用脚投票”。
• MiniMax-01 的核心资产是把 linear attention 首次放大到足以宣称 GPT-4o 级表现的规模，而不是发明 hybrid 本身。 80 层模型按“7 层线性、1 层 Softmax”重复 10 次：RNN 式固定状态负责压缩历史、把每步 decoding 做成常数开销，少量 Softmax 层保留完整 KV cache 以补足 retrieval。松琳用一句话概括互补性：“attention 像翻书，RNN 像人的大脑。”
• 从风险收益看，动态稀疏注意力在松琳看来其实比纯 linear attention 更保守：它保留全部 KV cache，只省计算而不省显存，因此大海捞针能力的下限更容易判断。 松琳仍把 MiniMax 评为三者中承担架构风险最多的一家，但也强调 10%—20% Softmax 层的 hybrid 配比此前已在多个较小模型和相关工作中得到验证；三家公司结果无法横向排位，因为训练数据、规模和 infra 均不一致。
• 资本与人才层面的主线是，数据堆叠接近瓶颈后，架构、开源论文和系统工程正在重新成为可见的公司竞争变量。 松琳将 NSA、MoBA、MiniMax-01 排为一、二、三，真正的 aha moment 是 NSA 对 full attention 的“全线压制”；他还认为追赶者开源最能“秀肌肉”、建立投资者信心，并以千问开源与阿里股价表现作例。若国内模型技术继续追赶甚至超越，国内团队对海外留学生的吸引力也会提升，“人才都是会往人才密度高的地方走”。

精读

1. 长思维链把注意力效率推成下一代模型的前置条件

• 松琳把论文集中出现的时间点放在 2025 年初理解：DeepSeek 的相关 reasoning 工作与 Kimi 1.5 都依赖更长的 chain of thought 解锁 reasoning，而输出越长，普通 self-attention 的 decoding 成本越难承受。“test-time scaling”因此不只是能力路线，也是架构效率问题。

• Full attention 要建模所有 token pair，训练与 prefill 的计算复杂度随长度平方增长；autoregressive decoding 又要不断读取随上下文线性增长的 KV cache。长文档和长推理分别放大了这两个瓶颈。

• 张小珺追问是否在为新模型铺路时，松琳给出明确但保留条件的判断：“DeepSeek 这篇文章有八成是会为之后的 V4 来服务的。”Kimi 既有 Kimi 1.5 的 reasoning 需求，又以长文本产品见长，因此也同时需要降低 prefill 和 decoding 开销。

2. Attention 的本质是为每一对 token 建模交互

• 松琳从 query、key、value 解释标准 attention：每个 token 用 query 与此前 tokens 的 keys 做内积，得到 attention scores；经 Softmax 归一化后，再以这些权重对 values 做线性组合，形成当前位置的 output。

• 自回归模型还需 causal mask，防止当前 token 看到未来信息。最简洁的理解是：“attention 就是一个 pairwise 的建模过程”，它刻画序列里任意两个位置的交互程度。

• Transformer 取代 LSTM 的关键不只在表达能力，也在训练并行度：这种结构能高效使用 GPU，容易堆参数、扩大模型，随后 BERT、GPT 以及主流大语言模型都沿用了这一基础。

3. Dynamic sparsity 让每个 query 自己决定该看哪里

• BigBird 一类 static sparse attention 预先规定跳跃、窗口等固定 pattern；Dynamic Sparse Attention 则由当前 query 动态选择需要访问的 keys 和 values。同一序列中的不同 tokens，因此可以读取完全不同的历史区域。

• Kimi 与 DeepSeek 的共同点，是试图把这种 query-aware sparsity 从 inference 加速工具变成可从头预训练的架构。此前的困难并非想法不存在，而是动态、离散的数据访问与现代 GPU 的连续块读取方式“不对齐”。

• 两篇工作的共同前身是 Quest：它把连续 KV tokens 划成 blocks，为每个 block 建立表示，再让 query 选择最相关的 blocks。连续 block 可以整块读取，避免逐 token 的随机访存；DeepSeek NSA 与 Kimi MoBA 都可看作沿这一框架向预训练扩展。

4. Native 的含义是动态稀疏终于能在硬件上原生训练

• 松琳把 Native Sparse Attention 称为开创性工作，核心不是第一次提出稀疏或 block selection，而是第一次把大规模 Dynamic Sparse Attention 做到“natively trainable fast attention”：训练、prefill 与 autoregressive decoding 都按硬件约束重新设计。

• 论文的野心是“既快又好”：不仅降低训练的前向、反向成本和 inference 读取量，还让从头预训练的 NSA 在多个 benchmark 上压过 full attention。松琳反复强调，这使它不再只是对既有模型的有损加速插件。

• 相比之下，不少既有方法主要是在已经训练好的 full-attention model 上近似其 attention distribution。近似越受 block 粒度和硬件约束，越容易掉点，也很难突破原模型的性能上限；但松琳也指出，Quest 这类模型可以做预训练，只是预训练效率可能不如 NSA。

• 对 DeepSeek 连续开源项目的内容，松琳拒绝“兼职算命”，只推测可能包括软硬件协同 infra、MoE 和 NSA 相关模型；这部分被他明确标为预测，而不是论文已披露路线。

5. NSA 用三条分支同时保存粗粒度、精细选择与局部先验

• 第一条 compressed-attention 分支先把每个连续 KV block 压缩成一个 key representation 和 value representation，再让 query 在 block level 上做粗粒度 attention。它既提供全局概览，也产生一个直接进入最终结果的 output。

• 第二条 selected-attention 分支依据 block scores 取 Top-k，再展开被选 blocks 内的全部 tokens，做更细粒度的 token-level attention。稀疏性正来自这里：不是对所有历史位置做精细计算，只在最相关的少数 blocks 内计算。

• 第三条 sliding-window 分支直接关注邻近 tokens，利用语言建模中“附近位置通常更重要”的 inductive bias。松琳提到，训练好的 attention map 常把大量权重集中到局部窗口及开头 tokens，后者常被称为 attention sink。

6. 三路门控把全局与局部的配比交给模型自己学习

• 每条分支的 output 都经过一个由当前 token representation 决定的 gate，随后三者加权相加。张小珺问三路如何协同时，松琳的回答是“不妨把这个选择直接交给模型”，因为人工规定每一路比例反而难以适配不同 query。

• 这种设计没有宣称 compressed、selected 或 sliding window 各自是新模块；它的价值在于三者组成了可训练、可回传且适合硬件执行的闭环。松琳因此提醒，不应只看架构图便把论文归为“缝合怪”。

7. MHA、MQA 与 GQA 决定了稀疏选择到底能省多少读取

• Multi-head attention（MHA）为每个 head 保留独立的 query、key、value；Multi-query attention（MQA）让所有 query heads 共享一份 K、V，大幅缩小 inference 时的 KV cache，却可能因共享过度造成 performance degradation。

• Grouped-query attention（GQA）取折中方案：同一 group 内的 heads 共享 K、V，不同 groups 仍保留不同表示。松琳用“每两个 heads 共享一份 KV”的示意说明，它用温和共享换取 cache 缩减和表达能力之间的平衡。

• 在 MHA 中，每个 head 本来就必须读取自己的 KV，因此各自选择不同 blocks 不额外扩大读取量；但在 GQA 中，共享 KV 的 heads 若选择不同 blocks，硬件最终必须加载这些集合的并集，原有共享优势便被稀释。

• 这构成 NSA 与 Quest、MoBA 的关键分岔：后两者保留每个 head 独立选择的自由，NSA 则要求同一 GQA group 内的 heads 读取相同 KV subset，以换取显著更规整的数据流。

8. NSA 主动牺牲 head 级自由度，换取 decoding 的真实吞吐

• NSA 在 block-selection scores 上对同一 group 的 heads 求和，再统一做 Top-k，从机制上保证它们选中同一组 KV blocks。这样共享 KV 只需加载一次，而不是为各 heads 的不同选择反复读取。

• 松琳承认这种绑定可能减少 diversity，也正是很多架构研究者会担心“掉点”的地方。DeepSeek 的回应很激进：既然共享对硬件最有效，就增加 heads、保留多个 query groups，再用 compressed、sliding-window 分支补回表达空间。

• 论文配置中有 4 个 groups、总计 64 个 heads，query head dimension 约 192；相乘得到接近 1.2 万维的投影，远高于约 2560 的 hidden dimension。松琳把这种大幅 up projection 与 DeepSeek V3 的 MLA 风格联系起来：“我反正是从头开始训练嘛”，只要训练和 inference 都高效，结构常规与否不是首要约束。

9. FlashAttention 的成功说明瓶颈不只在 FLOPs，更在 HBM 与 SRAM 之间

• 松琳回顾 FlashAttention 的 blocking：把一块 queries 和一块 keys 放入 SRAM，用矩阵乘法计算局部 attention block，再读入对应 values；中间 attention scores 不写回 HBM，从而减少高成本的数据搬运。

• SRAM 容量小但带宽高，HBM 是例如 A100 的 80GB 全局显存，容量大却相对慢。硬件高效算法的共同目标，是尽可能让计算停留在 SRAM，并减少两级 memory hierarchy 间的通信。

• Full attention 对一个 query block 反正要扫描全部历史 KV blocks，因此连续装载没有浪费；dynamic sparse attention 中，每个 query 选择不同 blocks，若仍把连续 queries 捆在一起，便要加载它们需求集合的并集，最坏情况下几乎重新退化为全量读取。

10. NSA 用 head 维度凑矩阵乘法，绕开稀疏 query 的并集浪费

• 为避免 query-block 并集，NSA 让每个 token 独立决定 output；但单 token 计算又缺少 Tensor Core 喜欢的矩阵形状。解决办法是利用 GQA 下多份 queries 共享同一 KV selection，把 heads 当作 batch-like 维度，一次凑成 matrix multiplication。

• 松琳特别欣赏这一 kernel：普通 FlashAttention 用 query block size 凑矩阵维度，NSA 改用 number of heads。“基本上没有什么浪费”，既只读所需 KV，又调用了 Tensor Core，是他第一次看到这种玩法被用于训练阶段。

• Triton 对相关矩阵尺寸通常要求至少 16，因此每个 group 需要至少 16 个 heads；同时模型又希望保留约 4 个 groups 的选择差异，最终推动了 64-head 设计。看似异常的架构参数，其实是从 kernel 约束反推出来的。

• 以 A100 为例，松琳称相同 FLOPs 下，半精度矩阵乘法调用 Tensor Core 可比一般 ALU 计算快约 16 倍；到 H100，矩阵计算继续加速，数据 loading 反而更容易成为瓶颈，这就是“memory wall”。

11. 从头训练是 sparse attention 突破 full-attention 上限的唯一出口

• 对现成 full-attention model 做 sparse inference，本质是逼近既有 attention map。即使先计算完整 score 再做 exact Top-k，它也只是逼近方案的理论上限；Quest 还必须按 block 选取，效率更高却少了一层灵活性，因而通常进一步掉点。

• 松琳的结论很直接：“如果我们想让 sparse attention 甚至比 full attention 要好，只有一个出路，那就是 train from scratch。”模型从预训练开始适应动态选择，便不必复刻 full attention 的分布，也可能学到更适合稀疏结构的表示。

• NSA 与 Quest 都保留全部 KV cache，不像 H2O 一类机制直接丢弃 cache。松琳认为“不丢”很重要，因为眼下不相关的位置可能被后续 query 再次调用；动态选择可以暂时跳过信息，却不必永久删除它。

12. 稀疏性可能不是性能税，反而像一种注意力去冗余

• 松琳提供的直觉解释是，训练好的 full attention 本就“highly sparse”，大量 token pair 的权重近乎冗余。直接以 sparse attention 训练，可能迫使模型更集中于真正相关的位置，减少被无关 tokens “distract”的机会。

• 这仍是解释而非论文已证明的因果机制；他用“我一个直觉的理解”保留了不确定性。确定的实验现象是，NSA 的训练 loss 基本全程略低于 full attention，多个下游 benchmark 也呈现优势。

• Needle-in-a-haystack 图几乎“绿油油一片”，说明保留全部 KV cache 后，模型仍能从长上下文找回目标信息。更令松琳意外的是，提升不止出现在长文本，还延伸到 chain-of-thought reasoning 与 R1 风格相关评测。

• 这也是他全场最大的 aha moment：Dynamic Sparse Attention 不只少算，还可能比 full attention 更强。“它既要 efficiency，又要 performance，这个太厉害了。”

13. NSA 的速度优势在较短上下文已出现，并随长度迅速扩大

• 论文用 Triton 版本 NSA kernel 对比 Triton 版本 FlashAttention，以减少 CUDA 与 Triton 实现差异造成的不公平。松琳指出，NSA 在较短序列已经更快，到 64K 附近加速接近 10 倍，长度越长，加速比越明显。

• Decoding 图给出 expected speedup，是因为 autoregressive decoding 通常 memory-bound，效率大体取决于每步读取多少 KV cache。NSA 让 GQA group 共享选择，因此相对 full attention、Quest 和 MoBA 都有天然读取优势。

• 松琳最看重的不是某一个峰值数字，而是优势同时覆盖训练前向、反向和 decoding：“既快又好”意味着同一架构可同时减少预训练成本和上线 serving 成本，而不是在两阶段之间转移负担。

14. 可回传的 compressed branch 是 NSA 选对 blocks 的训练信号

• Top-k selection 本身不可导；若架构只有 selected-attention 路径，错误 block selection 很难获得直接梯度纠正。NSA 的 compressed-attention output 参与最终输出，使 block representations 和 scoring 路径可以通过端到端 loss 反向传播。

• 论文把这一方案与 Quest 等其他 block-selection 方法做 ablation，替代方案表现较差。松琳据此认为 compressed branch 不是装饰，而是让 selection 更 informative、让第一条分支“更加 make sense”的关键。

• 这也解释了 NSA 为什么没有 MoBA 在 SFT 阶段那么突出的梯度稀疏问题：即使精细 selected path 没覆盖某些 prompt blocks，compressed path 仍把训练信号传回更广泛的历史位置。

15. NSA 的主要创新是系统协同，而不是发明三个新模块

• 张小珺问它属于“小创新”还是“大创新”时，松琳承认 sliding window、block selection、compression 都能在已有 literature 找到；若只逐模块查 novelty，确实容易得出“没有什么了不起”的判断。

• 他的反驳是，论文真正的 significance 在于把 query-aware dynamic sparsity 改造成训练与 inference 都 hardware-friendly 的整体。Quest 这类方法也能做预训练，但效率可能不如 NSA；NSA 的 kernel 与 GQA 约束使其更适合大规模使用。

• 松琳把它归为工程创新更多，但并未用“工程”贬低其价值：“你只有硬件高效，才能降本。”在大模型尺度下，能否连续读取、能否写成矩阵乘法、能否避免无效 cache traffic，本身就是架构可行性的组成部分。

• 他用“硬件上的暴力美学”和“像刀尖舔血一样”概括这种风格：在 Quest 的大原则——每个 query 动态选 blocks——之内，NSA 找到了一个非常接近当前硬件约束下最优解的处理方式。至于 OpenAI 如何实现类似能力，他以“Closed AI”调侃其技术披露太少，只能说 GPT-3 报告曾提 sparse attention，现有模型无法考证。

16. MoBA 把同一问题压缩成一个近乎无参数的极简方案

• Kimi 的 MoBA 同样沿 Quest 的 block-selection 框架前进，但每个 key block 只做 mean pooling，query 与这个均值计算 score。它不增加用于 block representation 的 MLP，也没有额外可学习参数。

• 相比 NSA 的三路输出，MoBA 砍掉 compressed-attention output 和 sliding-window output，只留下 selected attention。其团队表达的是“相信 SGD 的力量”：即使没有额外分支和 loss，优化也能逐渐找到合适 blocks。

• 每个 attention head 仍可独立选择 KV blocks，因此模型自由度更高，架构图也更“优雅”；但它没有 NSA 的 group-shared selection，无法直接复用后者几乎无浪费的训练与 decoding kernel。

17. MoBA 的简约把复杂度转移到了 indexing 与 block 粒度

• MoBA 的实现按每个 KV block 找出所有选择它的 query tokens；这些 queries 在原序列中通常不连续，于是先通过 indexing、reindexing 收集成连续 tensor，再调用 FlashAttention kernel。这一步包含大量 indexing 和 reindexing operation。

• 这一步不是 free：如果 KV block 数量足够多，索引开销可能成为 bottleneck。因此 MoBA 采用 512-token block、Top 3，NSA 则采用 64-token block、Top 16；两者最终读取 token 数量接近，但选择粒度差异很大。

• Top 3 个大 block 更容易漏掉分散的关键信息，Top 16 个小 block 的容错和细粒度更高。松琳把这视为 MoBA “极简背后付出的代价”，而非单纯的超参数偏好。

• 速度曲线也体现了这种差别：MoBA 到 128K 左右仍未显示特别明显的速度优势，NSA 在 8K、16K 已有可见加速。松琳因此判断，MoBA 可能更适合极长 prefill，而常见约 8K 的预训练长度未必能获得同等收益。

18. SFT 的稀疏梯度迫使 MoBA 暂时切回 full attention

• MoBA 的训练 loss 在早期弱于 full attention，随后才逐渐缩小 gap，并没有 NSA 那种稳定压低 full-attention curve 的现象。松琳保留判断：“我不确定是不是 compressed output 被砍掉带来的负面作用。”

• SFT 常有很长 prompt，但 loss 只计算回答部分；若少数带 loss 的 tokens 没选择某些 prompt blocks，那些 blocks 就收不到梯度。MoBA 报告将此描述为 sub-optimal SFT performance，本质是 sparse routing 叠加 sparse supervision。

• 解决方案是把最后 3 层切换为 global/full attention，让上层对全部 tokens 产生稠密梯度。由于 MoBA 没新增参数，full 与 sparse attention 可自由切换，这个原本追求极简的设计反过来提供了修复空间。

• 松琳一度把 90% sparse、10% full 说成训练流程，随后当场更正为 ablation；该实验显示 hybrid 训练可提升表现，但不能据此断言正式模型必然按这一比例训练。这段自我修正也保留了他解读论文时的不确定性。

19. MoBA 的产品落地证明极简路线不是纸面实验

• Kimi 将评测长度推进到约 100 万 token，长文本结果整体良好；据其公开说法，MoBA 已投入 Kimi 产品。松琳据此认为它确实有效，说明方案至少已经进入真实产品场景。

• NSA 与 MoBA 的设计哲学因此很清楚：DeepSeek 为硬件效率接受复杂架构与强制共享，Kimi 则尽量不引入模块和参数，再用索引工程与 attention 切换解决问题。“一个是硬件的暴力美学，另外一个是极简的优雅算法。”

• 两者优化目标并无根本差别，都希望 prefill 和 decoding 越快越好；区别在于 NSA 更早进入加速区间，MoBA 保留更多 head-level freedom，并能无缝切回 full attention。谁更好仍需在统一训练条件下验证。

20. Linear attention 把完整历史压缩成固定大小的矩阵状态

• 松琳进入自己的研究主场后，从去掉 Softmax 开始推导 linear attention。利用线性运算的结合律，可先累计 keys 与 values 的外积，再让当前 query 读取；历史被编码为一个固定大小的 d×d matrix-valued hidden state。

• 与 LSTM 的 vector hidden state 相比，这个矩阵状态完成了 state expansion，容量显著更大。每个 decoding step 只需更新并读取固定状态，因此空间复杂度和单步时间复杂度都是常数，总推理复杂度随序列长度线性增长。

• 代价是它不再保存所有历史 KV cache：全部过去被压进一个有限状态。松琳指出，hidden-state size 与 RNN 的记忆容量直接相关，这既迫使模型学习压缩，也决定了它不可能无损记住任意长历史。

21. Chunkwise 算法让 linear attention 从理论高效变成 GPU 高效

• 直接用 recurrence 训练会像传统 LSTM 一样逐 token 串行，而且外积与 matrix-vector multiplication 难以充分调用 Tensor Core；若改写成全并行 attention form，又会回到随长度平方增长的训练成本。

• Chunkwise 算法把序列切成 chunks，只计算每个 chunk 的末端 hidden state；块内用并行 attention 计算 local contribution，块外用同一个历史 state 批量服务整个 chunk 的 queries。相关计算可以利用矩阵乘法，并且是数学等价变换，不是 approximation。

• 这里的 chunk dimension 再次扮演 batch-like 维度，与 NSA 用 heads 凑矩阵乘法遵循同一硬件原则。选定固定 chunk size 后，训练复杂度可保持 sub-quadratic，同时保留 GPU 并行度。

• 松琳给出的典型场景是 video generation：几分钟视频转成序列后可轻易达到百万级 tokens，full attention 很快吃不消；chunkwise linear attention 因而可能具有先天优势。

22. 现代 linear attention 已用衰减和选择性补上早期模型的短板

• 早期 linear attention 的 language-modeling performance 较差，形成了“linear attention 不 work”的行业印象；松琳认为过去两年无论模型效果还是 kernel efficiency 都进步很快，需要更新 prior knowledge。

• RetNet 是较经典的相关工作；固定遗忘率的机制会使不同位置缺少可选择性。Mamba 2 把 decay 变成 data-dependent，让每个位置决定自己的 decay。松琳的评价是，Mamba 强调的 selectivity 与 LSTM gating “本质 idea 是一样的”，像“新瓶装旧酒”。

• 从 linear-attention 视角，Mamba 2 的 State Space Duality、block decomposition 和相关训练形式都能得到更直观的等价解释。GLA、Lightning Attention、xLSTM 等现代模型也可放入 attention-with-decay 或更一般的状态更新框架。

23. MiniMax-01 用七比一的混合比例补齐压缩记忆与精确检索

• MiniMax-01 每 8 层安排 7 层 Lightning Attention、1 层 Softmax attention，整个模块重复 10 次，共 80 层。Linear layers 负责绝大部分顺序建模，少量 full-attention layers 保留访问历史 tokens 的能力。

• 松琳把两者的互补性讲得很形象：“attention 有点像翻书，RNN 有点像人的大脑。”RNN 的固定容量强迫模型抽取可压缩规律，Softmax attention 则保存全部 KV cache，遇到 needle-in-a-haystack 等 retrieval task 时可以直接查找原始信息。

• 纯 linear attention 在 retrieval 上可能较弱；hybrid 通过少数 attention layers 修补这一点。RNN 还自带顺序信息，部分 hybrid 架构可以少依赖甚至不用 RoPE，从而避开某些位置编码外推问题。

• MiniMax 报告称 hybrid 架构的 scaling behavior 优于纯 Softmax attention，并将模型放大到宣称 GPT-4o level performance 的尺寸。令松琳惊艳的是 scale，而不是 hybrid 概念本身：“第一次把这个 hybrid 架构 scale up 到这个尺寸。”

24. 架构创新、开源论文和系统能力正成为同一场公司竞争

• MiniMax-01 的放大依赖扎实 infra：专家并行、pipeline 并行，以及可能采用的 linear-attention sequence parallelism 等工程优化缺一不可。此前已有多个相关模型验证 hybrid，attention 层占约 10%—20% 也在消融研究中被考察；MiniMax 的 1/8 配比与这一范围相近。

• 三条路线无法只看最终 benchmark 排名，因为模型规模、数据和训练流程不同。风险判断上，松琳认为 sparse attention 保留全部 KV cache，“大海捞针肯定能做”，下限相对稳；MiniMax 承担的架构风险可能最大，但先前较小规模的相关结果也让 7∶1 hybrid 并非盲赌。

• 松琳最终把 NSA 排第一、MoBA 第二、MiniMax-01 第三；即使他本人研究 linear attention，hybrid 能 scale 在他看来仍不意外。真正改变其研究兴趣的是 NSA 比 full attention 更好，他表示之后可能会做一些 Dynamic Sparse Attention 方面的研究。

• 更大的背景是 pretraining data scaling 可能接近瓶颈，行业转向 test-time scaling，也重新寻找底层架构收益。松琳称 DeepSeek 坚持架构创新“非常可贵”，因为这件事“风险与机遇并存”；未来可继续改 RoPE、尝试 contextualized position encoding、用 RNN 承担位置信息，乃至等待 Long Convolution “卷土重来”。

• 论文与开源也因此成为商业信号。松琳说“天下苦闭源公司久矣”，追赶者通过开源最容易建立技术影响力，并可能支撑投资者信心；他以千问开源与阿里股价上涨作例，将二者联系起来。

• 对人才流动，他的判断同样带条件：国内大模型过去落后时，留学生自然去硅谷学习；如果如今已追赶、部分技术甚至超越，国内团队对海外留学生的吸引力会提高。“人才都是会往人才密度高的地方走的。”