摘要

MiniMax-01 是把非共识架构押成主模型的一次公司级重注：456B 总参数、45.9B 激活，闫俊杰在自己约“50%”把握下仍投入了公司“百分之八九十”的力量。 钟怡然自称已有90%以上把握，因为团队从2021年开始研究；字节在2023年八九月“兴趣度不是很高”，MiniMax 最终成为愿意为线性注意力买单的“金主”。
线性注意力要消灭的是 Transformer 随序列长度平方增长的计算量，而不只是 FlashAttention 已经缓解的显存问题。 Lightning Attention 通过改变 Q、K、V 的相乘顺序，把复杂度从二次降为线性；钟怡然给出的口径是，在1M token 下，仅 attention 计算可比 Full Attention 快2700倍，MiniMax 已把上下文做到4M，并认为10M在计算上也能承受，真正瓶颈变成数据与应用。
这次押注不是一次戏剧性的“梭哈”，而是3700个从头训练的模型、最高7B规模的 scaling law，再接一个约9B激活参数的模型和约2000张卡的工业验证。 团队同时比较 Lightning Attention、HGRN2、Mamba 等路线，预先用表格规划实验；钟怡然强调，“每一个选择都是有实验来支撑的”，大模型正式放大后反而相对顺利。
线性架构真正暴露的缺陷不是语言建模，而是 retrieval：固定大小的 KV Cache 必须压缩任意长度输入，大海捞针能力因此先天吃亏。 MiniMax 采用每七层混入一层 Softmax Attention 的保守方案；意外结果是，这种“并不够优雅”的 hybrid 在其 scaling law 实验中，retrieval 甚至优于全 Softmax Attention。
线性与稀疏之争仍是非共识，核心不是谁先把速度做快，而是谁在大模型与超长序列上拥有更高上限。 钟怡然认为，NSA、MoBA、Seer Attention 等工作解决了可学习稀疏注意力的工程效率问题，却仍是有损近似；他的反问是：“有没有一种可能，这个二次计算复杂度本身就是冗余的？”主持人则追问，MoBA 已有代码并在线运行；钟怡然认为现有公开验证最多到7B，不足以裁定数百B规模的胜负。
架构潜力尚未自动转化为长文本产品质量，主持人在一次约两万字的实测里发现，MiniMax-01 和 R1 都出现答非所问，Kimi K1.5 当次表现更好。 钟怡然没有回避，称当前版本“并没有做得特别极致”，但把原因归于长文本训练数据不足：团队做过严格的 apple-to-apple 对比，相同数据下新架构没有劣势，下一代模型要补的是能力兑现。
R1 让 MiniMax 改变了对深度推理的判断，并把下一版押成原生多模态、线性新架构与深度推理的合流。 团队原以为强化学习主要增强 in-domain 能力，R1 展示的泛化迫使其加速；录制时钟怡然给出“七八成”把握，称目标不能只是追平 R1，而要接近 o1 或 o3，并预计4月发布、最晚不超过5月，发布后应该会开源。
MiniMax 赌的是长文本“下半场”，但钟怡然也承认，正常商业公司的技术领先通常会在三个月内被抹平；产品则是把新技术证明并转化为用户与反馈的路径。他认为最好的证明方式是“把它放到产品里面，然后让所有人都用到”；更远处的目标则是能持续学习、自我进步的系统，让语言、多模态、具身与空间智能共同产生新数据，而不再依赖一代代人工预训练。

精读

1. MiniMax 把开源当成新架构的首次商业亮相

钟怡然将 MiniMax-01 定义为“非 Transformer 架构在真正的商业大模型上的一个亮相”：它不仅展示 Lightning Attention 的效果，也试图把社区注意力引向长文本应用。
对主营业务而言，模型开不开源影响有限；开源的收益是证明 MiniMax “关注技术，更愿意尝试新技术”，建立技术影响力，并吸引愿意创造新架构的人才。
闫俊杰早在6、7月就考虑过开源，当时模型仍未真正完成训练；到10、11月模型训练完成后，团队又补写完整 report 和实验，让结论与论证更加充分。
新架构缺少现成生态支持，社区最初用 Hugging Face 推理时速度很慢。MiniMax 随后把部分推理优化合入 vLLM；GitHub issue 中更多反馈则集中在模型经常出错的问题、多图支持和部署等一般性问题。

2. GPU 进步只是推迟了 Transformer 的二次复杂度危机

钟怡然的起点很直接：“Transformer 架构有一个最大的 bug”，即 attention 的计算量随序列长度平方增长；FlashAttention 把显存占用降成线性，却没有消除计算复杂度本身。
从 V100、A100 到 H100，算力跃升遮蔽了问题的紧迫性，使128K、256K长度仍可接受。但当序列继续增长，靠硬件覆盖平方成本终究不是结构性解法。

3. 改变 QKV 相乘顺序，就把平方计算改成线性计算

标准 Softmax Attention 先算 Q×Kᵀ、经过 Softmax，再乘 V；钟怡然将核心简化为三个矩阵相乘：若先做 QK 再乘 V，复杂度是二次，先做 KV 再乘 Q则是线性。
线性注意力取消了 Softmax Attention 这一步，因此既可被叫作“非 Transformer”，也有人称之为 linear Transformer；名称分歧来自对 Transformer 核心的不同定义。
钟怡然说 linear attention 与 linear RNN “本质上是一个东西”：传统 RNN 最大障碍是无法并行，linear RNN 的意义就是让循环结构能够进行大规模并行训练。
他的通俗比喻是，Transformer 每生成一个 token 都会重新“翻书”，回看此前全部 token；线性模型更像“传话游戏”，读取前一状态与缓存，因此计算便宜，却可能累积压缩和传递误差。

4. 团队在2021年主动离开拥挤的 Transformer 路线

稀疏注意力只计算完整 n×n attention matrix 中的一部分分数，钟怡然因此把它视为“有损的逼近”；团队2021年的实验里，其效果不及 Softmax Attention，速度也只快“一丢丢”。
在他当时的判断中，稀疏路线“得不偿失”、上限偏低；与其继续跟着别人走，不如进入研究者更少、改动更彻底的 linear attention。
这条路线从2021年7月的 CosFormer 项目开始，论文后来发表于 ICLR。钟怡然形容早期 linear attention 是“美好的泡泡”——理论很好看，实际却效果差、速度慢。

5. 三年研发依次补齐了效果、速度与规模化能力

2021年至2023年，团队覆盖 linear attention、linear RNN、long convolution 等几乎所有线性方案，先解决语言建模精度问题，让效果赶上 Transformer。
到2022年底，他们在相同数据下比较困惑度 PPL、常见大模型榜单和 Long Range Arena，判断自研方法已能在小规模上比肩 Transformer。
第二个障碍更反直觉：线性理论复杂度虽低，右乘形式却引入循环操作，而 GPU 对循环“相当不友好”，所以实际运行速度远低于纸面复杂度。
2023年的 TNL 与 Lightning Attention 针对这一点做工程优化；到2023年底在最大15B dense 模型上验证后，团队认为精度和效率都已补齐，进入“scale up ready”状态。

6. 放大模型后，纯线性架构暴露了 retrieval 短板

15B纯线性模型的语言建模效果已接近 Transformer，但在大海捞针测试中，团队第一次看到 retrieval 与预期明显不符；这是进一步放大后才显现的缺陷。
大海捞针把一句格格不入的话放在长文不同位置，检查模型能否定点召回。钟怡然把它视为 in-context 的基础能力：“它必须能够复述上文的所有内容。”
原理上的矛盾是，线性模型无论输入多长，都压进固定大小的 KV Cache；“固定容量”面对“任意容量”的 input 必然发生信息压缩，因此精准召回天然更难。

7. 一比七的 hybrid 方案把缺陷变成了增强

MiniMax 最终每七层混入一层 Softmax Attention，其余使用 Lightning Attention，而且第一层仍是线性层；这给模型保留了周期性回看完整上下文的通道。
团队试过每七、十四、十六层放一层 Full Attention，甚至在约八十层模型里只保留一层。语言建模差异并不大，真正随混合比例显著变化的是 retrieval。
最意外的 scaling law 结果是，一个 retrieval 有短板的方法与标准方法混合后，召回效果不只补平，反而“远超”全 Softmax Attention；钟怡然称团队当时也很惊讶。
一比七没有强理论指引，主要靠实验，也参考了 Jamba 的相近比例。团队已经激进地更换底层架构，因此选择这个“很保守”的配比作为安全垫。

8. 线性架构把上下文瓶颈从计算推向数据和用途

钟怡然给出的效率口径是：在1M token 下，单看 attention 这一步，Lightning Attention 相对 Full Attention 可加速2700倍；这不是整个模型端到端速度。
MiniMax 已把序列长度提升到4M，并认为如果愿意，10M在计算上也能承受。问题随之变成“十M的数据怎么构造”以及“十M到底能干什么”，而非算力是否允许。
他给出的4M应用例子是把四大名著或整本《红楼梦》放入上下文再归纳；团队当前选择先把1M以内的东西做扎实，再继续向外扩展。

9. 3700个模型把公司级赌注拆成了可检验的曲线

钟怡然认为，花几千万元训练大模型后才发现架构失败不可接受；要说服老板采用从未工业化的新架构，前期实验必须“非常 solid”。
团队从头训练了约3700个不同大小、不同参数的模型，同时比较 Lightning Attention、HGRN2、Mamba 等方案，以及多种 hybrid 配比，寻找速度与效果的均衡。
这些实验并非不断追加出来的试错：所需卡数、资源和模型数量预先写进 Excel，最后执行规模与最初设计一致，其中大量是成本较低的小模型。
Scaling law 的实际验证最高做到7B dense；团队先假设 scaling law 存在，再画出趋势并预测7B以上表现。钟怡然称真正系统跑这类实验的公司不多，也提到 Google 和 OpenAI 做过。

10. 从 dense 到 MoE，算法交付后仍需重造工业轮子

MiniMax-01 是456B总参数的 MoE，单次激活约45.9B；而前期 scaling law 主要在 dense 模型上完成，因此还要由另一拨团队把结构迁移到 MoE 并重新调参。
正式大模型前，团队先训练了一个可能只有约9B激活参数的模型，和7B实验点相距不远；这个桥接模型可能一个月完成，没有暴露异常，随后才进入约2000张卡的大训练。
研究组最多处理过15B规模，并不涉及更高阶的序列并行，也较少关心 inference。工业团队需要补齐并行、推理和集群优化，“很多轮子要自己去造”。
由于 scaling law 和小模型验证已经建立信心，MiniMax-01 的大规模训练本身反而较顺；钟怡然称，真正艰难的决策和排雷发生在上卡以前。

11. 实验室的15B上限迫使钟怡然出去“找金主”

上海人工智能实验室缺少继续放大的算力。钟怡然当时判断，最迟到2024年底，linear attention 大模型一定会由某家公司做出来：“我们已经做了三年了，我们为什么不让它诞生在我们自己手上？”
自己创业一度是选项，但基础架构公司需要算法、数据和训练三环同时成立；要进入第一梯队，当时就需要10T以上数据，而没有一流模型又无法证明架构，形成“鸡生蛋、蛋生鸡”。
在他的视野里，国内真正能做一流预训练、又可能承接这项工作的主要是字节与 MiniMax；他对 Kimi 得到的信息有限，否则就只能寻找海外机会。
主持人补充，2023至2024年的投资人更关心应用、变现与盈利，仿佛让“还没有完全训练好的高中生”立即出去赚钱；这与基础架构需要的大额长期投入并不匹配。

12. 字节没有接下赌注，MiniMax 愿意投入八九成力量

钟怡然约在2023年八九月与字节沟通，但感到对方“兴趣度不是很高”；他的解释是，大公司即便有人和数据，也很难把大量资源转向一个高度未知的方向。
同年下半年，曾在商汤共事的闫俊杰（IO）找他吃饭。MiniMax 正处于下一代模型技术选型阶段，闫俊杰可能认为其工作比较 solid，也愿意把这项技术做成公司的主模型。
两人的主观概率并不相同：钟怡然认为成功把握超过90%，闫俊杰可能只有约50%，但后者仍愿意调动公司“百分之八九十”的数据、工程与算法资源。
这并非第一天就 all in：团队先训练成本可控的小模型，再逐步增加规模。加入 MiniMax 后发现 retrieval 缺陷时，钟怡然也有 hybrid 保底，只是觉得它“不够优雅”。

13. 稀疏注意力追上了工程效率，但规模上限仍待证明

钟怡然认为 NSA、MoBA、Seer Attention 的主要突破，是把团队2021年就遇到的“稀疏很慢”真正优化掉；但他不认为这已经证明了数百B工业规模的上限。
主持人的反驳是，MoBA 已放出工程代码，并称在线上运行一年。钟怡然仍坚持，现有公开验证最多约7B，必须开放数百B级模型，才能与 MiniMax-01 做可信比较。
MiniMax 还测过 MLA 与清华提出的 TPA 等 KV Cache 压缩方法；其观察是，这些方案的优势会随模型变大而收窄，Lightning Attention 则在7B以上开始呈现“模型越大、增益越明显”的趋势。
他同时承认稀疏和线性都有大量研究者，Mamba 在2023年明显带火了线性路线；对于外部公司的架构，他只谨慎推测其“大概率”是 sliding window attention 加 Full Attention。

14. “有损还是无损”已经变成一场道心之争

很多研究者认为，把二次 attention 改成一次复杂度必然是有损逼近；钟怡然的反问是：“有没有一种可能，这个二次计算复杂度本身就是冗余的呢？”
他的立场是，linear attention 可以是无损优化，变成 hybrid 后甚至比纯 Full Attention 有增强；相较之下，稀疏方法只计算 dense mask 的部分位置，因此“稀疏一定是有损的”。
主持人追问，可学习的稀疏 pattern 能否消除损失。钟怡然说这类方法2020年已有，新工作让它跑得更快，却没有改变其对未计算位置直接丢弃的本质判断。
他把双方分歧称为“道心之争”；一些早期同路者后来没有继续研究，他将其归为对路线的信念差异。两条路线又部分正交：线性模型可吸收稀疏技术，反过来采用线性则要更换底层架构。

15. 长上下文长度并不等于长文本任务已经做好

主持人在一次约两万字英文文章的实测中，向 MiniMax-01、R1 和 Kimi K1.5 提问社交媒体短视频的具体用法；在那一次测试里，MiniMax-01 与 R1 都出现偏题，Kimi K1.5 表现更好。
钟怡然没有否认结果，称团队会用大海捞针、RULER 等标准 benchmark 检查基础能力，但真实应用还与训练数据“严格相关”，架构只能提供能力潜力。
他的归因是长文本训练数据不足，而不是 Lightning Attention：团队做过严格的 apple-to-apple 对比，相同数据下新架构没有劣势；当前版本“并没有充分挖掘这个模型的能力”，下一代要补上这一环。

16. R1 让 MiniMax 从观望深度推理转向加速跟进

钟怡然引用另一团队的判断“压缩产生智能”：linear 模型持续压缩信息，可能在深度推理上更有优势；对方称其内部实验里，linear 模型的推理表现相对占优，但 MiniMax 自己仍在验证。
o1 出现后，MiniMax 没有立刻追随，原先判断强化学习主要会让模型某一方面的 in-domain 能力变强，因此先把基础能力做扎实；R1 展示出更好的外推与泛化后，这一判断发生改变。
他也给 R1 留下限定：它解难题和专业任务很好，却“不像一个通用模型”，回答普通知识问题未必理想。主持人补充，R1 的出圈也与开放思维链、让用户看到推理过程有关，而 o1 当时没有完全开放思维链。
下一步仍以内部基础榜单为底座，再看数学、编程、SWE、AIME 等标准 benchmark；目标不是晚一个月做出“跟 R1 差不多”的东西，而是接近 o1、甚至 o3。

17. 下一版模型把原生多模态、推理与新架构同时叠加

MiniMax-VL-01 采用 adapter 路线，而非原生多模态。钟怡然说，当时 Gemini 2.0 尚未发布、原生路线还没走通，adapter 能以较小成本快速验证数据，效果也“立竿见影”。
当前正在推进的一版不再单独保留文本模型，而是一个原生多模态理解模型；难点是同时守住文本与视觉榜单，再把深度推理接入同一系统。
这相当于把新线性架构、原生多模态和深度推理一次叠加。钟怡然称当前实验“还可以”，成功把握约七八成，项目是最高优先级，绝大部分算法和工程人力都投入其中。
录制时给出的时间表是4月发布、最晚不超过5月，发布后应该开源；现有这版架构预计至少用到6月，此后还会有数据量更大、结构更新、从头训练的新一代模型。

18. 技术影响力既受开源尺寸限制，也离不开产品承接

MiniMax-01 的外部评价是“报告写得很好、工作比较 solid，但是不知道为什么没有很多人知道”。钟怡然概括 IO 的风格是“做十分，宣传五分”，而456B模型又不是个人能轻易部署的尺寸。
主持人追问为何不开放小模型，让学界和开发者真正参与。团队确有小尺寸版本，但数据与大模型不同；IO 希望先抬高效果上限，维护多个模型或用大模型蒸馏小模型也都需要额外人力。
钟怡然认为 PR 需要加强，“现在已经不是一个酒香不怕巷子深的时代了”。他的长期解释是，新架构使团队短期跟进深度推理的速度会慢一些，却能借助开源成果快速补课，MiniMax“跑的是下半场”，赌长文本需求兑现。
他加入 MiniMax 的根本原因，是小规模论文无法说服行业，而“把它放到产品里面，然后让所有人都用到”才是最好的技术证明。即便如此，他也判断大模型领先通常“三个月以内被抹平”，正常商业公司仍需把关注转成用户与反馈。

19. 线性注意力只是持续学习系统的一块底座

钟怡然真正想做的不是某一版模型，而是“能够自我学习、自我进步”的系统：把人看到、听到的一切输入，让模型自行学习文本、视觉、声音及不同模态之间的关系。
他把大模型、具身智能与空间智能串成一条因果链：静态训练数据可能耗尽，具身系统通过环境交互产生无穷无尽的数据，而有效交互又要求空间理解能力。
强化学习在这条路上既连接 o1、R1 式深度推理，也连接机器人运动控制；他猜测把机器人领域的 RL 直接用于语言推理、并发现效果异常好，可能带有“偶然发现”的成分，但可能成为未来自发学习的方法。
节目后记保留了分歧：马毅强调知识不等于智能，自主学习需要闭环、反馈与纠错；王小川则认为语言才是智能主轴，多模态与世界模型可能跑偏。一个纯虚拟的“缸中之脑”能否产生好奇、厌恶和喜好，仍是未决问题。