先锋 趋势 方法 投研 作者
Vol.156 产业观察27|关于DeepSeek的七个核心问题和DeepSeek关键技术拆解
返回节目精读

Vol.156 产业观察27|关于DeepSeek的七个核心问题和DeepSeek关键技术拆解

摘要

  • 刘鹏琦把 DeepSeek 爆火拆成“20% 技术创新、80% 开源影响力与中国元素”,投资上首先要区分能力跃迁与情绪重估。 V3 以显著更低成本逼近一线预训练模型,R1 则首次公开了一条用强化学习复现 o1 级推理能力的路径;但真正放大冲击的是后来者以开源打破闭源垄断,以及“中国团队能否做原始创新”的预期重估。“光脚的不怕穿鞋的。”
  • V3 改写的首先是成本曲线,其壁垒来自算法、infra 与硬件优化的系统协同,而非某个孤立概念。 颜黔杭给出的数字是:V3 使用约278万 H800 GPU 小时、训练成本约500多万美元,对比 GPT-4 约6300万美元、Llama 3.1 约5800万美元;671B 总参数每次仅激活37B,并以 MLA、MoE、FP8、DualPipe 和 PTX 同时压低算力、显存与通信开销。刘鹏琦的定性更克制:“没有太多概念创新”,但有“非常高的工程创新壁垒”。
  • R1 的意义不是发明了强化学习或 test-time compute,而是把闭源时代的推理范式变成了可复现、可蒸馏的开源工程。 R1-Zero 直接在 V3 上用数学、代码等 ground truth 做强化学习,证明不依赖 SFT 也能激发长链推理;R1 再加入冷启动数据、多阶段 SFT 与 RL,修复可读性和语言混用。关键约束是基模必须足够强——“一百个结果当中就能找到一次答案”,否则同样框架可能根本训不出来。
  • Scaling Law 没有失效,而是正从预训练转向后训练和推理阶段。 两位嘉宾都认为预训练受制于高质量数据枯竭,继续堆参数和算力的边际收益正在下降;后训练目前使用不到预训练1%的算力,R1 可能已接近10%,仍有扩展空间,但 reward、专业问答与 CoT 数据成为新瓶颈。推理阶段则可用更长输出和自我修正换取准确率,“模型的输出过程本身也是一个计算过程”。
  • 竞争格局中,DeepSeek 对国内 To C 模型厂商的影响可能更大,To B 的长期影响仍要等待真实部署验证。 Kimi、MiniMax 的技术并不弱,Kimi 1.5 也获得正面评价,但它们必须回答闭源能否持续保持一线能力、开源又会不会颠覆既有商业模式;海外大厂仍在多模态、泛化、工具链和开发者生态上领先。DeepSeek 自己也要决定如何接住“泼天的富贵”:融资扩张,还是维持小团队和研究导向。
  • DeepSeek 对英伟达并非单向利空,而是扩大 AI 总需求的同时削弱部分稀缺性定价。 市场教育带动更多公司采购算力,嘉宾听到 H100、H200 价格反而上涨;持续变化的模型架构也更适合通用 GPU。另一面,MoE 降低互联需求,PTX 级优化展示了绕开高层 CUDA 库的可能性,国产卡与新架构获得窗口,但长期胜负仍取决于编译器和软件生态,而不只是单芯片性能。
  • 应用端真正可交易的变量是 token 成本下降带来的 ROI 扩张,但短期国内预期明显跑在效果前面。 DeepSeek 在几周内完成政府、企业管理层和普通用户的市场教育,蒸馏模型也可能把推理能力带到 PC、手机和 AI 硬件;然而峰瑞被投企业实测称,DeepSeek 并未在所有行业任务领先,部分蒸馏出的 Qwen 模型在很多任务上甚至可能不如原始模型。长期更值得关注的是强化学习能否从数学、代码迁移到 Agent、具身智能和物理世界,但当前结论仍应是“让子弹再飞一会儿”。

精读

1. DeepSeek 的技术突破只解释了爆火的一小部分

  • 刘鹏琦的核心判断是“20% 技术创新、80% 开源生态和中国元素”:低成本 V3 与开源 R1 都是好工作,但单靠技术不足以解释全球市场如此剧烈的反应。

  • 中国团队在资源约束下逼近一线模型,击中了海外的信息差,也引发质疑;刘鹏琦认为短期主要是情绪,长期价值则是重建市场对“中国能做真正技术创新”的信心。

  • 开源让后来者获得不对称优势。DeepSeek 相比海外大厂没有那么多既有包袱,得以冲击 OpenAI、包括 o1 在内的一系列模型的封闭地位,正所谓“光脚的不怕穿鞋的”。

2. V2 已先打穿 API 价格,V3 再把训练成本砍到十分之一

  • 颜黔杭回溯到2024年5月6日:DeepSeek-V2 以接近 GPT-4 的能力,将每百万 token 输入、输出价格分别压到1元和2元;他列出的6月13日那款 GPT-4 模型的输入、输出价格则为217元和434元,由此触发行业第一轮价格战。

  • 2024年12月底发布的 V3,把冲击从 API 延伸到训练端:约278万 H800 GPU 小时折合500多万美元,而颜黔杭给出的 GPT-4、Llama 3.1 预训练成本分别约为6300万美元和5800万美元。

  • 媒体早期对“500万美元训练成本”存在误读,刘鹏琦提醒相关信息修正后再看;但其结论没有改变——V3 仍以低一个数量级的算力成本,做到接近 GPT-4o、Claude 3.5,并超过当时千问2.5、Llama 3.1 等开源模型的表现。

3. MLA 把最昂贵的 KV Cache 压缩了九成以上

  • 颜黔杭从 Attention 的 Q、K、V 讲起:生成新 token 时,历史 token 的 K、V 会被反复调用,因此必须缓存;长上下文下,KV Cache 很快让显存容量和带宽比纯算力更早成为瓶颈。

  • MLA 的办法是对完整 KV 矩阵做低秩压缩。颜黔杭用“保存三维物体在平面上的影子”作比喻:不必存下完整结构,而只需保存低维矩阵。

  • V2 论文给出的结果是,MLA 相比此前 DeepSeek 模型将 KV Cache 缩减93%以上,“相当于只剩下原来的十分之一”。刘鹏琦将其概括为“用时间换空间”,从而降低显存与显存带宽需求。

4. MoE 的关键不只是专家多,而是让专家都真正工作

  • V2 拥有236B 总参数、推理时约激活21B;V3 扩至671B 总参数,却仅激活37B。刘鹏琦描述的路由是一个共享专家加256个独立专家,每次只调用共享专家与其中8个专家,以“用空间换时间”。

  • 颜黔杭解释,DeepSeek 将常见的约32个专家扩大到256个,再加入承载通用知识的共享专家。“三个臭皮匠顶一个诸葛亮”,更多、更细的专家可以降低单个专家知识偏见,并形成更稀疏的计算。

  • 难点是训练中的马太效应:强专家持续获得数据,弱专家越来越少被调用。DeepSeek 采用 Loss-Free Load Balancing,按每步负载动态纠偏,避免“强者恒强、弱者恒弱”;颜黔杭的总结是“人多力量大,而且每个人都要贡献自己的力量”。

  • 两位嘉宾对原创性的尺度略有差别:颜黔杭把 MLA 称为“从零到一,再到十到一百”的创新;刘鹏琦则认为 V3 多数工作站在前人肩膀上,真正难复制的是算法、框架与硬件共同形成的工程壁垒。

  • 刘鹏琦也提醒,Dense Model 在专用领域的 To B 场景和端侧小模型上仍有优势,不能据此断言 MoE 会“一统江湖”。他还提出一个未决问题:V3 的创新究竟是主动选择,还是算力受限下的被动适应;如果拥有更多算力,这些创新是否仍会出现、是否仍有必要,仍值得思考。

5. FP8、DualPipe 与 PTX 把低成本变成系统工程

  • 颜黔杭称,DeepSeek 自建了一套高性能、经济高效的 AIPC 集群,规模约为几万张英伟达 GPU,并在节点通信、训练管线并行和 FP8 混合精度训练等方面做了大量工程优化;算法侧还使用 MTP,即多 token 预测技术,提升推理效率。

  • V3 使用 FP8 混合精度,在尽量维持训练精度的同时减少数字存储空间;DualPipe 则填补 GPU 管线中的空闲时间,让 token 遍历节点时尽可能减少设备等待。

  • 刘鹏琦特别强调 PTX:团队没有只依赖高层 CUDA 库,而是直接编写更底层的代码,压缩计算和通信开销,极致释放硬件性能。这种能力与算法设计必须同步,否则 MLA、MoE 各自的新瓶颈会抵消理论收益。

  • 因而 V3 的成本不是一个 trick 的结果。颜黔杭认为 DeepSeek 的算法与 infra 协同处在“行业第一梯队,甚至最好的层级”;这也解释了为什么相同论文思路落到不同团队手中,最终效率可能完全不同。

6. R1-Zero 证明了纯强化学习能激发长链推理

  • R1-Zero 直接以 V3 为基模,不先加入人类高质量对话或推理数据,而用数学、代码等存在 ground truth 的任务做强化学习;结果证明,模型能够自行激发长链推理能力。

  • 代价同样明确:未经语言约束的 R1-Zero 可读性很差,还会混用语言。颜黔杭解释,奖励函数主要要求答案朝正确方向优化,并不会自动要求推理过程符合人类表达习惯;但语言混用并不影响最终结果。

  • 刘鹏琦的降温判断是,GRPO、客观答案奖励等方法本身并不复杂,OpenAI 发布 o1 时也已指出强化学习和 test-time compute 的方向;DeepSeek 的贡献是行动更快,率先把可行路径跑通并公开。

7. R1 用多阶段训练把实验模型变成可用产品

  • R1 没有坚持 R1-Zero 的纯粹路线,而是先使用冷启动数据进行 SFT,再以强化学习激活推理能力;中间状态的模型继续生成新的冷启动数据,循环进行强化学习,最终改善语言表达和综合性能。

  • 颜黔杭将其称为行业首次复现 GPT-o1 级推理模型,也是“推理大模型时代的 Llama”:闭源能力第一次以低成本开源基模、训练路径和蒸馏模型的形式进入社区。

  • test-time compute 是这套能力的外在表现:用户看到的“自言自语”不是装饰,而是通过扩大输出时间和 token,让模型把生成过程本身用于搜索、检验与纠错。

8. 强基模决定强化学习究竟能不能收敛

  • 刘鹏琦给出的关键机制是搜索命中率:V3 可能在“一百个结果当中就能找到一次答案”,奖励信号足以推动快速迭代;较弱模型若要在一万个结果里才偶然命中,同样的 RL 框架可能根本训练不出来。

  • DeepSeek 又让 R1 充当老师,蒸馏千问与 Llama,发布从1.5B到70B的六个小模型;颜黔杭称其中32B 模型基本与 GPT-o1 一致,且这些蒸馏模型都强于直接在基座模型上做强化学习后训练的结果。

  • 他的类比是:好老师能显著抬高学生的基础水平,而“特别聪明的小孩子”才可能靠自学超过受教者。由此,蒸馏利好端侧模型,纯 RL 则仍高度依赖强基模。

9. DeepSeek 的量化基因把纳秒级优化迁移到了 GPU

  • 刘鹏琦认为行业认知差正在缩小:学术界和产业界的方法逐渐收敛,纯概念创新放慢后,中国团队擅长的工程实现能力开始成为决定性变量。

  • 孵化 DeepSeek 的幻方量化提供了特殊基因。量化交易中,哪怕纳秒级执行优势也可能决定盈亏,因此团队早已习惯定制 FPGA、在 C 语言中嵌入汇编,再把这种底层优化能力迁移到 GPU、PTX 与训练通信上。

  • 组织形态同样重要。颜黔杭称 DeepSeek“不太像一个商业化的公司”,更像协作性很强的科研团队;刘鹏琦则强调其较小的营收和商业化压力、开源文化与长期性,让团队能快速判断论文价值并立即工程化,而不是先服从短期商业目标。

10. Scaling Law 正从预训练迁往后训练和推理

  • 预训练阶段的共同瓶颈是新数据不足:继续增加参数可能导致过拟合,GPT-5 的“难产”被刘鹏琦视为一个端倪。因此,并非算力完全无效,而是单纯堆数据、参数和 GPU 的边际回报正在逼近上限。

  • 后训练仍有明显扩展空间。目前后训练使用的算力通常不到预训练1%,刘鹏琦援引分析称 R1 可能已接近10%;继续扩大 RL 有望提升能力,但 reward 如何定义、专业问答和高质量 CoT 数据如何获得,成为新的稀缺资源。

  • 推理阶段则通过更长思考时间扩大计算:模型先给出草案,再发现错误、反思并调整。刘鹏琦的结论不是 Scaling Law 失效,而是“体现的角度发生了一些变化”。

11. Grok 3 的二十万卡没有证明暴力扩算力仍然划算

  • 2月18日发布的 Grok 3 使用20万张 GPU。两位嘉宾都承认其数学、科学和编程 benchmark 有提升,却认为相对 OpenAI 等竞争对手多用了一个数量级、相对 DeepSeek 多用了两个数量级的算力投入,边际提升只有几个百分点。

  • 颜黔杭称 Grok 3 的成本投入是 DeepSeek 算力成本的100倍以上,并认为实际可能达到数百倍;他还质疑发布图表将纵轴设置成类似40到100而非0到100,视觉上夸大差距。考虑到 Grok 2 也曾出现标准评分高、实际表现需要打折的情况,他的态度是“先让风吹一两天”。

  • 刘鹏琦进一步指出,现有提升更多来自后训练塑造的推理能力,而非预训练规模本身;Grok 3 因此反而佐证了旧式预训练 Scaling Law 正在减弱。

12. 模型竞争将迫使国内厂商重选开源与商业化路径

  • DeepSeek 当前仍主要是语言模型,缺少多模态能力,直接与完整多模态产品横比并不公平。刘鹏琦提醒,OpenAI、Anthropic、Google 仍在多模态、泛化、工具链、开发者生态、储备技术和算力上占优,“离真正超越还有挺长的路”。

  • 国内 To C 压力更直接。Kimi、MiniMax 并非技术落后,Kimi 1.5 的工程工作也得到学术界认可;难题是闭源能否持续保持一线水平,以及开源会不会反过来颠覆原有收费模式。

  • To B 客户长期会回归理性选型,但短期已被情绪推动集中尝试 DeepSeek。它完成了市场教育,却没有自动消除交付、适配和效果评估的门槛。

  • 对 DeepSeek 自己,流量也是“泼天的富贵”:是否融资,还是维持较小规模、继续专注研究,将决定其组织优势能否保留。

13. 英伟达短期受益,但硬件壁垒面临重估

  • 刘鹏琦认为英伟达的核心壁垒不只是单芯片设计,而是芯片互联能力,包括 Infinity Fabric、NVLink,以及 CUDA 软件生态共同形成的生态壁垒。

  • DeepSeek 一方面教育了市场、提升了 AI 应用信心,并可能带动更多公司采购硬件。刘鹏琦通过一些渠道听到,DeepSeek 发布应用后 H100、H200 的价格反而有所上涨;持续变化的模型架构也更需要通用 GPU,未必利好专用芯片。

  • 另一方面,MoE 降低了对芯片间互联能力的要求。PTX 被刘鹏琦称为比 CUDA 更底层的编程技术,但它本身也是英伟达的底层技术;DeepSeek 直接编写底层代码,展示了减少对高层 CUDA 库调用的可能性。若更多模型采用相对确定的架构路线,其他硬件也可能承接这类模型。

  • 短期内,DeepSeek 会带动低性能卡、包括国产卡的使用;长期机会则可能出现在3D封装、高速互联、高显存设计和整个编译生态。刘鹏琦强调,只有单芯片或互联能力并不足够,完整的软件生态才是长期成功的关键。

14. 应用 ROI 已改善,但行业落地仍需穿过实测关

  • token 费用下降直接扩大应用利润空间。颜黔杭认为,过去 AI 创业必须在模型调用成本与用户付费之间挤利润;价格战让开发者终于获得足够便宜、自由的试验土壤,R1 后 OpenAI 发布 o3 并下调 o1 价格也是这种竞争的体现。

  • DeepSeek 在几周内让政府和企业高层、普通消费者乃至父母辈开始使用,显著提升 To C、To B 的采用意愿;但刘鹏琦明确认为国内市场短期高估,尤其企业端真实效果可能低于预期。

  • 峰瑞被投企业的实测构成重要反证:客户部署呼声很高,但 DeepSeek 并非在所有行业任务都领先,部分由其蒸馏出的 Qwen 模型在很多任务上甚至可能不如原始模型。蒸馏方向“可能”利好 PC、手机和 AI 硬件,仍需业界验证。

  • 更长期的问题是,已经在数学、代码等客观领域验证的强化学习,能否迁移到现实世界推理、AI Agent 和具身智能。刘鹏琦对此保持期待,但也主张“让子弹再飞一会儿”。

15. 开源既是分发机制,也是下一轮研发基础设施

  • 颜黔杭援引一位创业者的说法:“DAU 对模型的研发来说并不是一个有价值的因素,但是开源是的。”DeepSeek 在1月27日开源产品并将应用上线应用商店后,DAU 很快超过字节的豆包和 Kimi 聊天助手,几乎零成本获得热度和流量。

  • 更深的价值类似早期 Android:开发者可以部署、研究和迭代,逐渐形成平台共识;共识提出者则获得人才、关注度和后续商业化优势,同时迫使 Llama 等开源模型继续创新,并对闭源厂商形成促进。

  • R1 当前的客观奖励主要适用于数学和代码。颜黔杭则用 AlphaGo 到 AlphaZero 的变化追问,减少人类监督、增加自我强化,是否可能让模型突破人类数据的上限。

  • 这个远景仍被明确保留为假设:“也许强化学习才能实现真正超越人类的 AGI。”在 reward 和真实世界迁移问题尚未解决前,刘鹏琦最后的收束仍是尊重突破、保持观察,“让子弹再飞一会儿”。