117. 开源一段论文探索之旅：模型范式、Infra和数据、语言、多模态的完整变迁史

2025/10/28 · 原声来源 · AI 精读归档

摘要

这期对 AI 产业最重要的判断是，模型进步从来不是单一架构奇迹，而是芯片、infra、数据和模型结构四条曲线共同抬升的结果。 Transformer 胜在既能直接建模长距离关系，又“抽中了硬件彩票”，适合 GPU 并行和规模化；自 2017 年以来，其主干变化极小，却从语言一路统一到图像、视频和 Diffusion。谢清驰的概括是：“算力、数据和模型结构”必须同时 scale。
Scaling Law 尚未显露明确天花板，但增长轴已从单纯预训练扩展到数据质量、后训练和 test-time computing。 OpenAI 从 GPT-1 的约 0.1B 参数、5GB 语料，扩到 GPT-3 的 175B、570GB；Chinchilla 又指出参数和 token 应等比例增加，小模型过度训练可能拥有更好的全生命周期成本。谢清驰仍偏乐观：“我们现在还有很多地方是做得很粗糙的”，生成数据、搜索和推理时计算都还可继续扩展。
算力的真正壁垒不是买到多少 GPU，而是能否把显存、带宽和计算单元有效组织成一个稳定的系统。 Brook、CUDA、ZeRO、DeepSpeed、MegaScale 构成一条从“GPU 可编程”到“万卡单任务训练”的 infra 演进线；当前优秀训练的 MFU 可能接近 50%，意味着相当部分算力仍被通信和等待浪费。DeepSeek 的案例被用来说明算法与 infra co-design 的价值：“计算不需要等通信”，稀缺硬件反而逼出效率创新。
数据壁垒并非只等于独占语料，能否自动清洗、组合和理解数据同样决定护城河。 LAION-5B 用 CLIP 从 Common Crawl 构建 5B 图文对，相比 ImageNet 的约 14M 大了数个量级；RefinedWeb 则证明，仅靠互联网数据和精细清洗也可能接近或超过人工策划语料。一个反直觉细节是，LAION 给 NSFW 内容打标签而非直接删除，因为彻底移除可能损害模型对人体结构的理解——能力训练与输出安全是两层问题。
后训练已经证明，模型价值不能只用参数量衡量。 CoT 用“请你一步一步思考”激活潜在推理能力，ReAct 把 reasoning、action、observation 串成 Agent 循环；InstructGPT 更让 1.3B 模型在指令遵循上胜过 175B 的 GPT-3。关键转变是：模型可能在 pretrain 后已经很强，真正的产品差异来自“怎么把它用出来”，因此 prompt engineering 正逐渐演变为 context engineering。
多模态的主线是把不同模态压进可共同计算的表示空间，再借 Transformer 生态持续 scale。 CLIP 用 4 亿图文对学到视觉—语言联合表示，Stable Diffusion 在潜空间扩散，把像素级计算降到更低维度并加入文本控制；ViT 和 DiT 则执行“如果不能让模型适应数据，就让数据适应模型”的策略。谢清驰预计 Transformer 还会继续进入图像生成，而自回归模型也可能重新挑战 Diffusion。
对产品和组织而言，理解模型边界有时意味着果断投入，有时也意味着“心安理得地等”。 一个客服项目中，GPT-4o 能力够但时延不可接受，DeepSeek-V3、千问 2.5 又差最后约 20%；团队没有用三四个月重做 SFT，而是等待两三个月，千问 3 的最大模型便覆盖了需求。职业层面的对应变化是从细分岗位走向 builder：“为一个端到端的结果负责”。谢清驰个人感觉，OpenAI 正借 MCP、超级 App 和模型入口尝试下一代操作系统。

精读

1. 读论文是产品经理探索技术边界的工具

谢清驰虽然说自己“不是技术出身”，本科和研究生读的却都是计算机；此后在豆瓣做产品、创业九年，做过 O2O 和消费，直到 2022 年 GPT 出现后，感受到技术行业发生了很大变化。
他给产品经理的定义是：“产品就是在给定边界里面去求最优解。”理解边界可以改变最优解，有时甚至能推动边界本身，因此论文不是技术人员的专属材料。
互联网时代也读论文，但读的是城市规划和建筑学：做豆瓣“阿尔法城”时，他系统研究扬·盖尔及城市发展史。区别在于移动互联网技术已相对成熟，而 AI 仍在早期，产品需要持续跟踪技术演进。

2. 两百多篇论文背后是一段重新补基础的过程

谢清驰读了两百多、不到三百篇论文，真正保存下来的一百多篇；这项工作占用了过去两年几乎所有下班、周末、出差住酒店的时间。
为重新进入理论语境，他用国外材料补了一遍线性代数、概率论、随机过程和偏微分方程。很多公式不一定复杂，门槛往往是符号系统：“能够看懂它就可以了。”
最初直接读英文一个星期后，他意识到：“我本质上不在学习 AI，我在学英语。”于是改用沉浸式翻译，让语言障碍从主任务中退出。

3. 用 AI 学 AI 已经改变论文入门成本

沉浸式翻译不仅能处理论文，也能翻译 YouTube 字幕；随着语言模型进步，谢清驰感受到论文翻译质量持续提高，文字层面的语言阻碍已大幅下降。
ChatGPT、Claude、豆包被他视为“身边最好的老师”：遇到难题可以交叉询问多个模型，既能帮助分辨幻觉，也能直观看到强模型与普通模型在学术问题上的差距。
Claude、Artifacts 等工具还能把抽象原理做成可视化网页；使用 Dia 这样的 AI 浏览器时，划词即问也能把论文阅读、查概念和追问背景放进同一上下文。
推荐材料包括吴恩达课程、李宏毅 2025 年的生成式 AI 课程、Andrej Karpathy、李沐论文精读、3Blue1Brown，以及《动手学深度学习》《深度学习中的数学》等成体系内容。

4. 理解论文要同时追踪历史、人物与范式

谢清驰发现，最难的并非某个公式，而是“不知道为什么要这么做”。论文作者和产品团队一样，面对的是特定时代的具体问题；背景消失后，方法就容易显得无缘无故。
他因此用三条线组织材料：历史线还原当时的危机，人物线追踪研究者如何进入工业界，范式线判断一篇论文是在改良主流，还是让边缘路线走上舞台中央。
整个深度学习史又被拆为四个共同变量：芯片是算力载体，infra 是操纵芯片的软件系统，另两项是数据与模型结构。“我们并非从零开始发现世界”，创新总在既有框架上累积。

5. Brook 把 GPU 从图形设备变成了可编程计算平台

1999 年 GeForce 256 被节目视为现代 GPU 起点；2001 年 GeForce 3 引入可编程顶点和像素 Shader，使开发者能够控制图形渲染过程。
到 2003 年前后，GPU 的 FLOPS 因高度并行结构迅速增长并超过 CPU；科学计算、数据处理和早期神经网络又天然类似于同时处理大量像素，于是“如何把任务映射到 GPU”成为新问题。
2004 年 Brook for GPUs 把底层图形细节抽象为流、核函数和规约，并配套编译器与运行时。开发者能用接近 C 的高级语言编程，性能据论文作者所说可接近手写 GPU 代码。
Ian Buck 后来加入英伟达并成为 CUDA 创始成员；其导师 Pat Hanrahan 横跨学界、Pixar 与 Tableau。团队当年甚至把多张 GPU 连起来运行 4K Doom，是早期 GPU 计算的直观样品。

6. AlexNet 用三重 Scaling 打破手工特征的统治

李飞飞团队构建的 ImageNet 含约 1,400 万张标注图像、两万多个类别；竞赛参赛队却从 2010 年的约 13 支降到第二届 7 支、第三届 6 支，传统路线已经接近极限。
当时的共识是，视觉必须依靠人对任务本质的理解来手工设计特征，仅给神经网络图像和名称“永远无法解决图像分类”。2010 年余凯所在 NEC 团队正是以传统特征方法夺冠。
AlexNet 同时 scale 数据、计算量和模型：约 6,250 万参数、65 万个神经元，由 Alex Krizhevsky 解决两张 GPU 的工程难题；今天看仅约 0.06B，当时却是巨大网络。
结果比既有方案高出十几个百分点，差距大到足以推动行业更换范式。Alex、Ilya Sutskever 与 Geoffrey Hinton 后来成立公司并被 Google 收购，相关团队成为 Google Brain 的重要前身。

7. Seq2Seq 让语言任务摆脱固定长度输出

2014 年的机器翻译仍由 SMT 主导，依赖复杂特征工程和多个子系统；视觉、语言、语音各有社区和范式，尚未被统一称为同一种深度学习问题。
翻译的本质是可变长度序列到可变长度序列，原有网络结构却难以处理这种输入输出关系。Seq2Seq 用 encoder 把输入压入隐藏状态，再由 decoder 生成另一长度的序列，解耦了两端。
Ilya、Oriol Vinyals、Quoc Le 等人由此把纯神经网络带入机器翻译；同样的结构还能覆盖语音识别和问答，encoder-decoder 也在此后成为 Transformer、Diffusion 等模型中熟悉的结构。

8. Attention 解决了隐藏状态的长序列瓶颈

固定隐藏向量容量有限：一句话或许装得下，一大段文字就会丢信息；序列越长，模型越难把前文的“小张”和后面的“他”重新联系起来。
Bahdanau Attention 不再要求 decoder 只依赖一个压缩向量，而是给输入中的每个词生成表示，在输出每个目标词时计算对应权重，形成带上下文关系的向量。
这个机制给网络提供了学习词间关系的空间，具体关系仍由降低 loss 的过程自行发现。两篇 2014 年工作都超过统计翻译系统，也为后来“Attention Is All You Need”埋下了伏笔。

9. 知识蒸馏把大模型能力转移给低成本模型

深度网络越做越大后，训练成本尚可一次摊销，推理延迟、部署难度和每次调用成本却会累积；2015 年的蒸馏因此成为大模型范式的辅助技术。
教师模型不只给学生最终的硬标签，还给出完整概率分布。那些非最高概率的“软标签”包含类别之间的细微关系，使小模型能模仿大模型的泛化能力。
谢清驰强调，通过 API 收集模型输出并不等于论文定义的完整蒸馏，因为拿不到概率分布；但不完整拟合仍可能有效，像用规则函数不断逼近复杂函数：“越来越像，最后接近一样。”

10. ResNet 让网络可以稳定地“比深更深”

2015 年的经验并非模型越大越好：网络超过约 100 层后，性能反而下降，这被称为退化，梯度消失和爆炸也限制了继续 scale。
ResNet 不再直接学习从 X 到 Y 的完整函数，而是学习相对 X 的增量，再通过短接得到 F(X)+X。把“学一个复杂目标”改成“在原结果上加减多少”，训练难度降低。
何恺明、张祥宇、陈少青、孙剑的工作使几百甚至几千层网络成为可能，节目称其引用量接近 30 万；Transformer、Diffusion 等今天仍普遍沿用残差结构。

11. Transformer 是 RNN 瓶颈与 GPU 并行能力共同选择的结果

RNN 天然有时序依赖，后一步必须等待前一步，难以并行；CNN 适合 GPU，却要卷积多层才能连接远距离信息，长依赖容易在传播中损失。
这正是“硬件彩票”：某些算法天然适合当时的主流硬件，就更容易被规模化并成为主线。RNN 没抽中，而 Transformer 的矩阵计算与 GPU 高度匹配。
2017 年八位 Google 作者问了一个极简问题：既然 Attention 有效，能不能只留下 Attention，不再需要 RNN？论文保留 encoder-decoder，后续主流模型又进一步演化为 decoder-only。
从翻译问题出发的结构，最终成为语言、视觉、视频乃至扩散模型的共同底座，这种统一是建模能力与计算效率共同筛选的结果。

12. Self-Attention 把任意位置的关系压成固定步数计算

Self-Attention 让窗口内任意 token 直接相互计算，不必经过多层传递；“猫趴在垫子上，它很可爱”中，“它”可以直接比较与“猫”“垫子”的关系。
具体实现把 embedding 映射为 Q、K、V，以点积和 softmax 得到注意力权重，再对 V 加权；多头结果拼接后交给 decoder。各组乘法彼此独立，可以在 GPU 上同时执行。
只有 Attention 会丢失顺序，因此还要加入位置编码和 mask；后来的旋转位置编码由苏剑林改进。建模能力、数据可扩展性和 GPU 并行由此同时成立，为“大力出奇迹”铺路。

13. Transformer 的有效性领先于人类对它的解释

Noam Shazeer 面对“为什么这个结构能 work”的追问，给出的回答是：“我们不提供任何解释；如果它 work，那我们把它归为神的仁慈。”
谢清驰最初也困惑于某些隐空间为何恰好是 64×64，询问研究员后得到的实际答案往往是“试出来的”。神经网络在这一阶段更像先记录星体轨迹、再寻找理论的黑盒科学。
自 2017 年以来，主流 Transformer 的结构和超参数变化并不大；行业已经能大规模应用它，却仍不能完整解释为何这种组合最有效。

14. AlphaGo Zero 同时打开了纯强化学习与 test-time scaling

击败李世石的 AlphaGo 仍依赖人类棋谱以及“气”“眼”等人工特征；这种模仿路线有两个上限：AI 很难超过老师，也无法解决人类尚无样本的新问题。
AlphaGo Zero 只知道棋盘和规则，从零自博弈，不输入棋谱或围棋概念。谢清驰认为，规则明确、目标可以清晰表示的封闭领域，适合不经预训练直接做强化学习。
节目称它使用更少的卡，训练 36 小时后便超过 AlphaGo Lee；性能和训练效率同时提高，是一次范式突破。
每走一步棋，它还会执行约 1,600 次 MCTS 搜索；没有 thinking，围棋模型并不能稳定击败顶尖人类。这一路线后来启发 o1 的 test-time computing，也对应 DeepSeek R1 Zero 对“不要 SFT 会怎样”的探索。

15. MoE 用稀疏激活改写大模型的推理成本曲线

MoE 的思想早在上世纪被提出，2017 年的工作把它重新推进：训练一个总参数极大的模型，每次推理却只激活与任务相关的少数专家。
其直觉来自人脑的分区和专业化——思考时并不会激活所有区域。这样既可从更多数据中吸收规律，又避免让推理成本随总参数完全增长。
论文给出的结果是“模型容量提升超过 1,000 倍，计算效率只略有损失”；这正解释了为什么成本优先的团队会选择 MoE。
代价是训练和工程挑战很大。节目提到 DeepSeek 的工程优势，也提到 OpenAI 可能较早转向 MoE、Llama 转 MoE 并不顺利、MiniMax 可能训练多次才走通，说明结构红利依赖 infra 能力兑现。

16. CoT 证明许多推理能力已经存在，只是尚未被激发

到 2022 年，扩大模型在算术、常识和符号推理上的收益仍不稳定；用博士级人工数据做 SFT 又昂贵，传统 fine-tuning 很难规模化覆盖所有推理任务。
Jason Wei 等人的工作显示，只要展示中间推导，或提示“请你一步一步思考”，模型表现便显著提高。工作本身像一篇简单博文，却让行业意识到 pretrain 后的能力并未被充分调用。
这项工作被谢清驰视为后训练的重要开端，并推动研究重心从一味扩大预训练转向 post-training。输入也从 prompt engineering 逐渐走到 context engineering。
谢清驰对 Jason Wei 的评价是：他擅长“找到这个时代最重要的问题”。

17. LoRA 把微调变成可插拔的参数增量

全量微调大模型既贵又难，每个任务保存一个完整副本也占空间；额外 adapter layer 虽小，却可能增加串行推理延迟。
LoRA 冻结原模型，只在旁边训练两个低秩矩阵，学习任务所需的参数增量；部署时又能把增量合入原矩阵，因此性能接近全量微调而不新增推理延迟。
它与 ResNet 的共同哲学是“只学 delta”。论文为 Transformer 设计，真正大规模普及却更多发生在 Diffusion：训练画风、角色，乃至把个人记忆定期写入一个 LoRA，都成为可能的用法。

18. ReAct 给语言模型补上了与现实世界交互的闭环

Russell 和 Norvig 的经典 Agent 定义是通过传感器感知环境，并以行动改变环境；语言模型虽能凭 CoT 推理，却与现实脱节，容易在封闭文本中制造幻觉。
2022 年 10 月的 ReAct 将 thought、action、observation 循环起来：先想，再调用工具或影响环境，观察结果后继续修正推理。
这项工作早于 ChatGPT，说明 Agent 和上下文工程的核心概念并非热潮后的追赶。姚顺雨选择的是当时较偏门的问题，却定义了随后整个行业会关注的方向。

19. 找到好问题有时比复杂地解题更稀缺

谢清驰区分两类研究者：一类擅长解决公认难题，另一类能提前找到“这个时代最重要的问题”。CoT、ReAct 的公式不如 PPO 复杂，影响力却不因此更低。
张小珺追问研究成果是否集中在年轻时期；谢清驰认为多数时候如此，因为年轻研究者历史包袱更少，但 Noam Shazeer 这类跨越多代技术、算法与工程都强的人是重要例外。
论文的价值还在于通往作者本人：一旦大致读懂，就能直接看 Danny Zhou、Jason Wei 等人的演讲，和“世界上最聪明的头脑”交流。

20. 全栈文化缩短了想法到代码之间的有损链路

谢清驰观察，湾区许多管理者仍 hands-on 写代码，岗位也较少严格拆成前端、后端、算法；中国互联网则更倾向在管理和商业上做精细化分工。
他把 PRD 和原型比作一次有损压缩：产品经理把想法压成文档，设计师和工程师再解压，中间必然丢信息；若构想者直接写前端，许多中介步骤可以省掉。
硅谷更崇尚全栈，当前一些 AI 创业公司也倾向于招聘全栈人员。谢清驰认为，团队可以培养更全栈的工程师和产品经理。

21. Bitter Lesson 把长期赢家归结为搜索、学习与计算扩展

Richard Sutton 在 2018 年的演讲中画出一条按美元计价的算力曲线：单位成本可获得的计算长期指数增长，这是 AI 七十年反复出现的底层变量。
他的“苦涩教训”是，利用计算的通用方法最终最有效；研究者把人类知识编码进系统，短期通常有效且令人满足，长期却容易平台化，并阻碍更能 scale 的路径。
最刺耳的一句是：“按照我们自以为是的思维方式构建系统，长远来看最终失败。”突破往往来自相反方向——让搜索和学习随计算资源一起扩张。
真正该内置的是能发现规律的原始方法，而不是空间、物体、多智能体等人类已有结论：“我们需要的是像我们一样有能力发现的智能体，而非装载了我们已有发现的智能体。”

22. 手工特征短期有效，直到算力再跨过一个量级

谢清驰并未把 Bitter Lesson 解读成今天就停止工程：“会在有些时刻手工特征是有用的，直到算力再增长一个量级，彻底把手工特征打败。”
Agent 工作流、RAG 触发规则、Cursor 或 Claude Code 的工程编排都属于人工注入；Claude Code 的 system prompt 甚至会告诉模型，六位数以内可直接推理，更复杂计算应调用 Python 或工具。
张小珺的追问指向现实矛盾：用户只关心好不好用，不关心方法是否“纯”。工业团队要在当下效果和长期通用性之间平衡，而不是把研究审美当作产品目标。

23. ZeRO 让模型尺寸开始随集群总显存扩展

2019 年前后，语言模型从亿级走向千亿级，单卡显存却只从约 16GB 增到 80GB；参数增长近千倍，硬件容量远未同步，一张卡已经装不下模型。
ZeRO 在数据并行框架内优化并动态管理训练过程，尽量消除模型训练中的显存冗余，使可训练模型规模与集群总显存近似成正比。
这项工作进入微软开源框架 DeepSpeed，并支持 OpenAI 早期的大模型扩张。它代表第三代训练 infra：问题不再只是“能不能多卡”，而是能否让上千张卡共同完成一个训练任务。

24. Scaling Law 把大模型训练从豪赌变成可外推实验

OpenAI 的实验显示，test loss 与计算量、数据量、参数量分别存在稳定的对数线性关系；只要另外两项不构成瓶颈，单项继续扩大便能预测性地降低 loss。
这使团队可以先用小模型测试数据、结构和训练配方，再外推到最大规模，而不必让每个想法都消耗数月和巨额预算。
真正的价值是减少“大训练结束才开盲盒”的风险：Scaling Law 不只是模型越大越好，而是一套做实验取舍和最终训练决策的方法。

25. Chinchilla 把 Scaling 从“最大参数”修正为“计算最优”

OpenAI 早期结论偏向在固定计算预算下训练尽可能大的模型，即使要提前停止；DeepMind 的反驳是，这会让大量模型没有吃够数据。
Chinchilla 路线主张参数量和训练 token 数等比例扩展：参数翻倍，数据也应翻倍；更多数据训练更小模型，可能比少数据训练更大模型拥有更低 loss。
小模型还可故意“过度训练”：训练阶段越过性价比最佳点，换取长期更便宜的推理。训练成本一次性，推理成本每次发生，两者最优解并不相同。

26. Loss 是否稳定下降暴露了训练团队的真实工程力

大模型训练会出现“loss 炸了”，团队必须持续保存 checkpoint，出问题就回档；卡越多，训练稳定性和故障处理就越重要。
节目以 Llama 的训练为例，称训练过程中可能每两个小时就会出一次问题，研究员手机需始终开机，半夜也可能起来恢复任务。
相比之下，节目称 DeepSeek 的训练曲线稳定下行，几个月训练很少出现崩溃。对投资者而言，卡数只是名义产能，稳定训练能力才决定实际吞吐。

27. LAION-5B 证明开源社区也能构建基础级多模态数据

OpenAI 发布了 CLIP 模型却没有开放其 4 亿图文对；LAION 发起人、德国高中物理和计算机教师 Christoph Schuhmann 认为，若基础数据完全被少数巨头垄断，AI 发展方向也可能被少数公司控制。
社区利用 CLIP 过滤 Common Crawl，构建约 5B 图文对；相比 ImageNet 约 14M 图片，规模跨越数个量级。
LAION-5B 成为 Diffusion 训练的重要基石。它的意义不只是数据量，而是证明开源组织、通用爬虫与模型过滤器可以组合成一条可扩展的数据生产线。

28. NSFW 数据展示了能力训练与输出治理的冲突

LAION 没有简单删除 NSFW 图片，而是给它们打标签，让训练者自行选择；谢清驰解释，彻底去掉可能削弱模型对人体结构的理解。
这与画家学习解剖相似：要画好衣服和姿态，模型仍需理解身体。节目认为，多模态模型可以在训练阶段保留相关能力，再在输出阶段限制使用；“不会生成”和“从未学会”不是同一安全方案。

29. RefinedWeb 用自动清洗挑战人工策划语料的垄断

GPT 出现后，高质量书籍、论文、社交媒体等语料越来越集中在大公司，行业一度认为精心策划的数据集是强模型不可替代的前提。
RefinedWeb 的工作是只取 Common Crawl，通过清洗和质量规则得到大规模数据集，仍可训练出达到甚至超过人工语料方案的模型。
关键变化是数据生产可以 scale：不必为每份知识雇人整理，而是把清洗经验固化成计算 pipeline。谢清驰也推荐 Hugging Face 关于数据清洗和 infra 的系列文章作为实践入口。

30. MegaScale 首次公开了万卡单任务训练的系统方法

2024 年字节发布 MegaScale；按节目说法，这应该是市面上第一篇公开解释如何把约一万张 GPU 用于同一个训练 job 的论文，此前经验主要掌握在少数公司内部。
万卡不是简单联网：卡越多不一定越快，一张卡物理故障或电磁干扰导致的 bit flip，都可能污染全局计算。
系统因此要深度可观测：监控训练、可视化指标、自动诊断并定位坏卡，把它踢出并补入新卡，再决定重启还是维修。训练效率与稳定性都必须被设计，而非事后补救。

31. DeepSeek 展示了算法、带宽和并行策略的 co-design

谢清驰以 DeepSeek-V3 和 H800 为例：硬件带宽受限，团队就让张量并行切分贴着带宽边界设计，避免模型通信超过可承受范围。
理想状态是计算时同步传输，计算结束时数据也恰好到位；否则计算单元等通信，或通信单元等计算，昂贵 GPU 都在空转。
当前训练中的 MFU 可能只有 50%，甚至不到，50% 已经是很好的实践。谢清驰据此提出一种可能性：DeepSeek 约 3,000 张卡或能达到 Meta 约 20,000 张卡的效果，用来说明 co-design 对资本效率的放大。

32. Word2Vec 第一次让单词在连续空间中拥有语义

过去单词被当作彼此孤立的原子，同一个“苹果”难以区分手机品牌与水果。Word2Vec 用机器学习为词寻找连续向量，让语义关系可以被距离和方向表达。
经典例子是 king−man+woman 接近 queen，意大利与罗马的关系也接近法国与巴黎；向量不只表示词，还隐含“性别”“首都”等关系方向。
这些表示改善了搜索和 NLP 下游任务，也成为 embedding 的基础。但谢清驰提醒，把单词视为最小单元仍带着人类先验，后来 token 化走向了更抽象的机器表示。

33. Token 解释了语言模型许多反直觉的能力边界

GPT-4 这类模型的 token 数量大约在十万左右；模型训练时看到的是 token 及其向量，不是人类理解的字母、词或汉字。
因此“strawberry 有几个 r”会难倒模型：它可能把单词切成多个组合 token，根本没有逐字母观察。o1 之前的内部代号是 Strawberry。
今天的 embedding 不再由 Word2Vec 预先规定，而由模型和任务共同学习；同一个“苹果”可以在更高维空间中形成更多语义，只是人越来越难直观解释其坐标。

34. Google 神经机器翻译把学术范式真正带进生产

2014 年学术界已出现神经翻译方法，Google 线上系统仍主要依赖统计和短语方法，因为 NMT 推理慢、偏门词差、可能漏译，工业可靠性尚不足。
吴永辉、Quoc Le、Oriol Vinyals、Jeff Dean 等人的系统集成 ResNet、encoder-decoder、Seq2Seq、Attention、低精度计算、数据并行和模型并行，成为工程成果的集大成者。

35. GPT-1 建立了生成式预训练加微调的新范式

2018 年 NLP 模型通常依赖每个任务的专用标注和专门训练，覆盖范围有限；视觉领域已有预训练迁移，语言领域却缺乏同等通用的路径。
GPT-1 用无监督预训练学习语言规律，再以监督微调适配任务；结构上采用 decoder-only Transformer，目标是 next-token prediction。
它约 0.1B 参数、12 层，训练语料约 5GB BookCorpus。规模很小，真正重要的是“Generative Pre-training”这套后来支配 LLM 的方法论。

36. BERT 曾经全面击败 GPT，并一度主导 NLP

BERT 通过双向完形填空同时利用词的前后文；基础版约 0.11B，较大版本约 0.34B，发布后横扫多项基准，在模型规模尚未很大时表现更强。
论文对 GPT 的批评很直接：从左到右的模型只能关注先前 token，对问答等需要双向上下文的任务可能有害。
当时 BERT 主导了 NLP 领域。谢清驰认为，BERT 更适合语言建模和明确任务，而 GPT 更像开放的大型隐式多任务学习；GPT 的通用性要等参数、数据和任务多样性进一步扩大后才能体现。

37. GPT-2 用 Zero-shot 信号证明 next-token 路线值得坚持

BERT 成为主流后，OpenAI 没有转向 masked language model，而是猜测 GPT-1 的缺陷来自数据过小、过于单一。
GPT-2 扩到约 1.5B 参数、48 层和约 40GB WebText；WebText 通过爬取 Reddit 并保留点赞数较高的内容，希望获得更多样且相对高质量的网络文本。
它无需为每个 NLP 任务单独改架构或微调，就已表现出 zero-shot 泛化。论文因此把语言模型定义为“无监督的多任务学习者”，给 OpenAI 极强的正反馈。

38. GPT-3 是一次有组织、有融资、有信仰的 All-in

GPT-2 发布后约一个月，OpenAI 在 2019 年 3 月调整公司结构；同年 7 月微软投入 10 亿美元并提供云计算支持，显示团队已准备进行数量级扩张。
OpenAI 随后砍掉或收缩其他方向，把更多人、钱和计算集中到 GPT。谢清驰认为，他们一定在 GPT-2 scaling 中观察到了重要信号，否则很难解释模型为何从十倍扩张到百倍级，并同步重组组织。
论文作者从 GPT-2 的约 6 至 8 人增至 GPT-3 的 30 多人，新增数据、infra、评估等角色；这不再是小组研究，而是大型工程项目。

39. GPT-3 把上下文变成通用模型的任务接口

GPT-3 达到 175B 参数、96 层，语料约 570GB，包含清洗后的 Common Crawl、书籍和 Wikipedia；相对 GPT-2，参数规模再增百倍左右。
它展示了 in-context learning：用户只需在 prompt 中给规则、任务描述和少量范例，模型就能完成新任务，不必重新更新权重。
以之后的 Chinchilla 标准看，GPT-3 可能训练不足；但它确立的接口一直延续到今天——模型不再为每项任务单独部署，任务本身被写进上下文。

40. InstructGPT 证明对齐方法可以胜过百倍参数差

原始 GPT-3 会生成虚假、有毒或无帮助内容，也不会主动拒绝有害任务、澄清模糊意图；这些问题没有随预训练 scaling 自然消失。
InstructGPT 先做 SFT，再用人类排序训练 reward model，最后以 RLHF 优化。团队雇用四十多名合同工构建数据，论文致谢中列出了他们的名字；排序又能组合出大量优劣对，放大奖励信号。
结果是 1.3B 模型在指令遵循上优于 175B GPT-3，参数相差约百倍。这让行业看到：后训练方法的杠杆可以大过单纯增加参数。
模型从“强大但不好用”开始变得更像标准助手。

41. Tülu 3 把闭源的后训练配方重新摊开

到 2024 年，业界都知道 post-training 重要，却几乎没人公开完整流程；InstructGPT 是少数材料，数据、评估和强化学习细节仍高度稀缺。
艾伦人工智能研究所基于 Llama 3.1 构建 Tülu 3，公开整个后训练流程，包括数据、代码和训练配方，让外部团队能看到完整链路。
按节目介绍，其结果超过原始 Llama 3，也超过 Qwen2.5 和 Mistral，并可以和 GPT-4o 比较。其价值不只是榜单，而是提供了一份可复现的后训练“解剖图”。

42. 视频深度学习证明路径可行，也暴露时间建模缺口

2014 年 Andrej Karpathy 与李飞飞团队构建约 100 万个 YouTube 视频的数据集，以 ImageNet 预训练 CNN 为起点研究视频分类。
视频每秒至少约 24 帧，计算量远高于单图，相邻帧信息差又很小；什么时候融合空间与时间信息，也从此成为多模态长期未收敛的问题。
最终多帧模型准确率仅从单帧的 59.3% 提到 60.9%，只增 1.6 个点。它证明路径可走，却没有充分利用视频信息，给后续工作留下明确问题。

43. 双流网络给视频模型增加了“运动”这一原始方法

Karen Simonyan 和 Andrew Zisserman 的方案把视频拆成空间流与时间流：一条看静态图像，另一条用相邻帧差异形成光流，把物体如何移动显式交给模型。
光流提供单帧没有的运动信息。模型不再只识别“画面里有什么”，还能建模“它正在怎么动”。
该结构第一次在视频理解上超过最佳手工特征，被谢清驰称为视频领域的“AlexNet 时刻”。早融合还是晚融合的争论却延续至今，说明多模态统一远未结束。

44. GAN 用一个容易的判别任务逼出困难的生成能力

当时人们认为必须先理解才能生成，因此生成图像比判断“这是不是花”更难。GAN 的突破是把困难任务改写成生成器与判别器的零和博弈。
生成器像伪画家，努力骗过警察；判别器只需区分真假。判别 loss 反过来成为生成器的训练信号，用已能解决的问题推动尚不能直接解决的问题。
Ian Goodfellow 的方法主导图像生成约五六年，样本锐利、模型小而快；缺点是训练不稳定，容易发生模式坍塌。

45. 最早的 Diffusion 用可计算噪声分布逼近复杂图像世界

2015 年的原始 Diffusion 从物理扩散获得灵感：先逐步向图像加入高斯噪声，直到结构完全消失，再学习逆向过程，一步步恢复数据。
目标是同时获得“灵活性和可计算性”：复杂图像分布难直接处理，高斯分布却容易计算，可用许多简单步骤叠出复杂结果。
这条路线最初效果差，在 GAN 阴影下沉寂约五年。发明者 Jascha Sohl-Dickstein 称其为自己“最不知名的工作”；他的物理、神经科学和火星探测背景也使其经历十分复合。

46. DDPM 通过“预测噪声”把 Diffusion 拉回主舞台

到 2020 年，GAN 效果好但不稳定，VAE 稳定却模糊，自回归生成质量尚可却很慢；Diffusion 仍不是主流。
DDPM 不再直接学习完整的反向图像和分布参数，而只预测每一步被加入的噪声，再从当前图中减掉它；这像 ResNet 一样，把完整目标改成增量目标。
配合适合图像处理的 U-Net 后，Diffusion 的效果很快提升，训练也更稳定。随后两年大量工作把降噪从约 1,000 步压到约 10 步，并不断改善高分辨率效率。

47. ViT 让二维图像主动适应序列模型

2020 年视觉仍由 CNN 主导，早期 Attention-CNN 混合结构既不够标准，也难完整利用 Transformer 已形成的 GPU、库和训练生态。
ViT 的策略是把图像切成 16×16 像素 patch，逐块编号、展开成序列，再加位置关系后交给标准 Transformer；论文标题直白地说：“An Image Is Worth 16×16 Words。”
这种 token 极其抽象，一小块像素并不天然对应眼睛或花瓣，但模型拥有像素内容和位置信息，可以自行发现组合关系。
小数据时 ViT 不如 CNN；只有大规模预训练后才超过卷积网络，并因复用 Transformer 生态而更容易扩展。这再次说明，它的优势不是小样本先验，而是更高的 scaling 天花板。

48. CLIP 用自然语言监督建立视觉与文本的共同空间

OpenAI 以约 4 亿图文对做对比学习，不再依赖 ImageNet 那种昂贵、类别有限的人工标注；互联网中的图片和描述本身就是监督信号。
模型把“鸟”的文字向量和鸟图像映射到相近位置，于是可以从文字找图、从图找文字，并 zero-shot 完成分类、OCR、地理定位和动作识别。
CLIP 的核心产物不是某个单项分类器，而是通用多模态表示。Diffusion 随后利用这层表示，才从“能随机生图”走到“能按文字控制生图”。

49. Stable Diffusion 用潜空间同时降低成本并提高抽象能力

早期 Diffusion 直接在 1080×720 等像素空间计算，分辨率越高，训练和推理越昂贵；早期生成一张图甚至可能需要一天。
Stable Diffusion 先把图像压进如 128×128 的低维潜空间，在其中扩散，再 decode 回高分辨率像素，计算量可下降至少两个数量级。
反直觉的是，压缩不只省算力，还可能提升效果。谢清驰把它类比于费曼学习法：“把书从厚读薄”会迫使人提取本质；低维空间也能滤掉像素噪声，保留“这是一朵玫瑰”的结构。

50. Cross-Attention 与 DiT 把文本控制和 Transformer Scaling 接入生成模型

Stable Diffusion 将 CLIP 文本编码作为条件，通过 cross-attention 输入 U-Net 的噪声预测过程，使模型既高效又能按 prompt 生成指定图像。
DiT 再把 U-Net 骨干换成 Transformer，直接继承并行计算、训练配方和软件生态；它的标题就是“Scalable Diffusion Models with Transformers”，重点仍是可扩展性。
相关作者中，William Peebles 后来与另一位作者加入 OpenAI，参与了 Sora。节目也提到外界猜测 Sora 使用了很多 DiT 的思想和能力。
张小珺由此得出一层反思：架构创新必须拥有硬件适配性，甚至可能要等待新的计算平台。谢清驰判断，未来一两年 Transformer 仍可能继续进入图像生成，而自回归路线也可能回归。

51. 深度学习史不是一篇神作，而是三十多篇工作的共生链

姚顺雨曾说很难指定唯一最重要论文，因为每一步都依赖此前的工具、数据和问题。谢清驰最初想用十篇还原历史，最后发现至少要三十多篇才不至于断链。
AlexNet 依赖 ImageNet、GPU 和 CUDA；Transformer 依赖 Seq2Seq 与 Attention；Stable Diffusion 又依赖 DDPM、潜空间和 CLIP。删掉其中几环，后来的“突然突破”就无法解释。
同样重要的是长期 bet：Ilya 在 Transformer 出现前多年就相信无监督预训练，只能等待合适架构与算力成熟。优秀研究者往往不是预测每个细节，而是坚定等待关键条件汇合。

52. 读懂边界后，等待模型进步也可以成为产品策略

谢清驰经历过两三个月的“高原期”，读论文常读到睡着；建立历史脉络后，他开始享受追问“为什么”，并能直接判断问题来自 token、训练分布、模型能力还是产品工程。
他曾把整份错误很多的会议 ASR 稿交给 Gemini，补充领域背景并要求像同传人员一样校订；过去人工整理需一整天，现在约 30 秒且不花什么钱，说明能力常藏在未被尝试的使用方式里。
客服项目则展示“等待”的价值：GPT-4o 能力够但时延高，DeepSeek-V3、千问 2.5 约有 20% 场景覆盖不足；若自建 SFT 需三四个月，团队选择等两三个月，千问 3 的最大模型便解决了问题。
他据此接受今天产品的不完美，并预期稀疏注意力等研究可能让上下文窗口再涨 10 倍乃至 100 倍、推理成本下降一个数量级。“我可以心安理得地等”，不是消极，而是把研发周期与模型周期对齐。

53. AI 正把职业重组为 Builder，也把模型入口推向操作系统

谢清驰给新人的三层建议是：高频使用 AI，学习 Python、JavaScript 等工程能力，再读论文掌握长期不变的原理；未来更重要的身份是 builder，“为一个端到端的结果负责”。
对大公司职能人员，他建议主动跨过岗位边界：产品做工程，工程理解产品。团队也可以培养更全栈的工程师和产品经理；过去这种文化可能主要存在于湾区的 Google，现在条件更好，实践难度可能降低。
谢清驰个人感觉，OpenAI 正在尝试构建下一代操作系统：通过 GPT 和 MCP 连接现实世界的应用与 API，用户可以通过对话获取算力并操作物理世界。若能形成超级 App 或操作系统，OpenAI 才有机会与 Google 比肩。
Google 的人才、工程和 infra 底蕴仍超出许多人此前预期，问题可能在于人才过多造成牵制，而它正在逐渐梳理整合。小团队机会也在增加，但取决于商业模式——Telegram 约 40 人可服务 10 亿用户，美团式复杂履约却难同样压缩。整个产业仍处于很早期，甚至可能还在小型机时代。

Nvidia CTO Michael Kagan：突破摩尔定律，迈向百万 GPU 集群市场概述2025年10月28日