田渊栋

田渊栋的创业动因是一次亲手实验：去年八月他与 GPT五 合作完成一篇 Grokking 文章，发现"模型的能力已经基本上强到让我觉得我可以不用招实习生的水平"，科研验证循环从导师-学生模式的几天几周压缩到几分钟——“与其自己被取代，不如我就开公司”。 这家 Recursive Super Intelligence 隐身四个月后于六月初官宣 A轮 6.5 亿美元、估值 46.5 亿美元。

本期最核心的推演交锋：硅谷流行假设"率先达到 RSI 的公司会把其他人越甩越远，且有窗口期"。 田渊栋认为逻辑"还是比较正确的"，但关键变量是曲线形状——智能提升是 S 型曲线加平台期，不是平滑渐进；若 scaling law 百分之百成立、曲线平滑，初创公司毫无机会，但 scaling 需要十倍算力十倍数据换线性增长，“你不可能让全世界整个地球的电力都供应给你一个人做这个自我进化”——现实瓶颈已现，突破式路径可能给初创留了空间。

RSI 比 coding agent"要大得多"：coding agent 只是执行者，且开源模型正在摊平这项能力（他体感 GLM 五点二 与 Opus 四点六/四点七 差距在接近，“四点六、四点七、四点八没有太大区别”）；RSI 真正缺的是模型不具备的研究品味——“从少量的样本里就可以看到精准而细节的联系"的抽象与创造力。 大厂冲 IPO 可能优先 coding 业务，这是新 lab 的空隙，“跟我聊过那些人都跑路了”。

对 Anthropic《When AI Builds Itself》的降温解读：Claude agent 累计工作 800 小时、把 weak-to-strong 差距缩小 97%（人类一周做 23%），但"应该还没有"到递归自进化，本质仍是提效，方法常规、靠分数衡量——这只是自进化的第一层台阶。 OpenAI 时间表：今年九月 AI 研究实习生、二八年三月真正自动化 AI 研究员。

公司首批成果三项全 SOTA 且用同一个通用系统跑出：NanoChat 五分钟训练 BPB 低于社区、speed run 从社区做了两年的 79 秒推进到 77 秒、算子优化在英伟达新出的 SOL Exact Bench 上以 10% 优势击败由前 Mobile AI CEO Sasha 任 CEO 的专业 GPU 团队 Double AI——而他团队里没有 GPU 专家，起点是"一个人加个 AI 做到 SOTA”。

他押注 scaling 之外的方向是可解释性，并自认少数派：“大部分人可能已经觉得绝望了……我觉得一定是有一个好的 principle 能够让这个模型运转起来”，AI “以后终将变成科学”，如炼金术之于化学、第谷-开普勒-牛顿——下一个牛顿"可能是 AI，可能是人类加 AI"。 组织层面的判断同样鲜明：“现在这一波 AI 都是反大厂的”，团队"超过一百五十人之后就开始不行了"，Llama Four 即例证。

🔗 原始收听与视频来源： 178: 与田渊栋聊 RSI：模型自进化如何到来？

Coding agent可能形成数据飞轮，是田渊栋认为特定方向上有望加速的路径。 早期人写代码、数据积累慢；当AI写的代码质量足够好、可大量生成样本回灌训练后，“突然之间就会有一个起飞”。他离开Meta后正赶上Claude Code和Codex这一波，“我发现我不用写代码了”。他不认同2026年AI会回调，认为很多应用会爆发：两个月的代码工作可缩短到两个礼拜或更短，“对VC来说是更大的消息，他们感兴趣的是能不能赚钱”。

“我不觉得纯粹按照scaling law来做能够达到AGI”，但scaling law本身不会见顶——受限的是资源。 数据中心可能需要小型核电站供能，再乘十、再乘十，最终整个地球的能源都要服务数据中心；问题是有限资源下走哪条路能获得最大影响力，大厂和小厂路线可能不同。他的落点是：“一个浪潮并不足以把我们送到AGI”，在不同浪潮之间跃迁的能力更重要。

在主持人描述的Llama 4掉出领先位置的背景下，田渊栋主要归因于组织压力与过度求快。 团队从几十人扩充到两三百人甚至更大，急于追赶DeepSeek等推理模型；多层VP逐级报喜，最上层可能只听到好话，直到模型发布后问题才暴露。他还警告，只看benchmark数字会诱使团队往数据集里塞东西，让模型看起来很好、实际不好用。

大语言模型竞赛榨干研究多元化，这也是他选择创业而非加入其他大厂的重要原因之一。 他收到过Amazon、Apple、xAI等offer；Amazon劝他加入的VP两个月后离开，Apple也有类似经历。FAIR式自下而上的bet文化受到资源竞争挤压。他现为一家保密公司的创始人，离职后的论文有部分工作靠家里一台4090完成，并享受一人闭环带来的快速反馈。

他部分认同LeCun：当前路线的核心问题更像学习效率，而不是完全学不到东西。 人脑功率大约20瓦、可能在20到30瓦左右，靠很少数据就能学会；他以女儿为例，没到阶段时灌数据只会背诵，某天领悟后便学得很快。但他不赞同"鹦鹉学舌"的说法：LLM的表示并非全靠背诵，触及了一些本质、能够反映现实世界，只是学习效率不高。2026年的真问题包括数据效率、推理效率、持续学习和超越Transformer的架构；范式级突破的概率目前不算大。

近300万亿token的实验，主持人将其作为问题提出；田渊栋认为最大回报是认知上的。 现在大家知道写代码可以不用人写了，这个认知本身就值相应代价。OpenAI、Trae或其他公司的很多钱花在研发上；如果满足于现有模型、只做服务和推理，其实可以赚钱，但为了下一代模型不得不继续投入。RL不是死掉的领域，开源模型与闭源模型的gap可能既不扩大也不缩小，只是开源会因使用闭源数据而滞后一阵。

AI洪水是囚徒困境，个人对策是选位置而不是筑坝。 2023年暂停六个月、先解决安全问题的呼吁有不少人签字，但最后不了了之，因为谁停谁就可能落后。洪水会越来越高，应在洪水到来前找到好的落脚点。围绕他所说的"人类社会的费米能级"，至少要做到人加AI大于AI自己，靠综合判断力和垂直经验发现、纠正AI的错误；节目还将这一逻辑延伸为：当重复劳动趋于由AI无限供给时，人的稀缺价值更多在于选择愿意押注的方向和提出愿望。

🔗 原始收听与视频来源： 69.与田渊栋的访谈：大模型的真问题、变局、AI洪水与the path not taken

田渊栋认为数据最重要，基础设施也很重要，算法和人才次之；算力主要区分大厂与初创。 理由链：AI写代码让他与3个月前相比工作效率“提高了至少10倍”，基础设施护城河可能下降；算法处于“要么大家改来改去改不出什么东西来，要么就是完全不一样的新方案”的阶段；人才高速流动意味着“硅谷里面很难有一个秘密能保留很久”，新方案一两个月、两三个月后就会被更多人知道。

内存与存储需求是他眼中很硬、很难解决的物理瓶颈。 主持人提到产业链供不应求；田渊栋认为增量主要来自长上下文、训练更大模型以及多模态4K图片的中间结果。模型规模从过去约70B的开源模型，发展到Kimi K2约1T参数、DeepSeek 600多B；H200凭借更大内存，可以用更少的卡获得同样性能。对于解决办法，他说“现在确实很难看到很好的解决方法”。

强化学习与test-time scaling的上界可能被预训练锁死。 预训练提供一百种思维路径中那条正确路径的素材，RL只是搜索并放大它；如果“预训练里面根本没这知识”，强化学习也无法提出解法。因此test-time scaling之后可能逐渐接近上界，这正是行业转向continuous learning、希望在后训练和推理中同时改变权重的原因。

记忆研究的路线之争是全量存储（贵、慢、准）对选择性遗忘（省、快、会忘）；他认为真正的AGI应是“脑容量固定但持续进行记忆升华和主动遗忘”。 无限堆积数据更像Internet式检索，并不会自动升华成对问题有更深理解的系统；大模型的代际贡献在于把知识整合进权重。最难的问题是从死记硬背到“顿悟”——像小孩四岁后突然对数字大小有感觉，机制至今不明。

蒸馏让领先很难长期保持，各家Lab的你追我赶对应不同生存策略。 大厂如Google通过Gemini 3.1 Pro展示技术实力与人才储备；初创通过证明自己强来融资，但需要在钱烧完前找到商业模式，OpenAI也在考虑在ChatGPT中加入广告以获得现金流。开源模型必须存在：如果少数人掌握指数增长技术，多数人无法获得便利，还可能形成等级区分；开源可让大家相对平权。

Agent可能颠覆电商和事务性人际交流，并带来“裹挟效应”。 对Agent来说“所有的网页都是一个连接”，广告没有欲望可利用；双方Agent可以代替人协调约饭、meeting等事务，也可能形成包含衣食住行的个人助理。水管工若不用能24小时接单并自动规划路线的bot，效率可能低于同行而被淘汰。他只用了Clawdbot 2小时，因其要求交出各种API key而“越用心里越虚”，并以“握有全部秘密但智商不够的小孩”比喻其安全风险。

他预警AI带来的社会冲击，并公布自己的下一步。 “洪水马上来了，只是很多人还没有感觉到”：未来可能出现整个行业逻辑改变、原有技能在任何地方都不再有用的裁员。他已离开近11年的Meta，将去一家方向和人员组成暂不公开的startup做co-founder；公司正在融资Series A，且“马上就要结束了，很多人愿意投资”。

🔗 原始收听与视频来源： 硅谷坐标 x 前Meta AI总监田渊栋: 解析大模型护城河、记忆存储瓶颈与Agent对社会冲击

《破晓之中》最具产业含义的“预言”，是算力竞争会从单颗 GPU 性能转向互联、通信带宽与信息压缩。 田渊栋在 2020 年把承载意识的“灵界立方”影射为 NVIDIA GPU：立方高速互联便涌现超级智能，银河联盟则用带宽限制加以封锁。现实随后出现 NVLink、NVL72、CloudMatrix 384，以及 DeepSeek V3 在 H800 上采用 FP8 降低通信压力；他原以为这是十年甚至五十年后的科幻，结果“两年之后科幻照进现实”。

虚拟世界与星际文明不是二选一，人类更可能数字化生存，同时让计算载体继续探索宇宙。 肉体脆弱、寿命有限，送宇航员远航还要负担饮食和生理需求；意识进入虚拟世界后，载体却可以飞往比邻星乃至更远处。田渊栋判断，人类进入虚拟世界“不可避免”，但好奇心不会因此消失，最终形态可能是“一方面进入虚拟世界，一方面继续在星际里流浪”。

当技术达到“所思即所得”，最重要的稀缺资源可能不再是生产能力，而是独一无二的新思想。 银河联盟能瞬间具现工厂、飞船和任何物品，真正担心的是自身走在错误路径上；偏远文明若提出更优解，也能借其技术立即变成替代力量。因此联盟既要像保护区一样保存地球的思想差异，又要把这种探索置于控制之下——它不希望自己的想法污染这块地方，也不允许它强大到反噬体系。

AI 对就业的冲击可能依次经历替代与空虚、争夺独特性、再到职业多样化爆发三个阶段。 短期内，人会发现赖以生存的工作被 AI 取代，或无论怎样努力都做不过 AI；中期被迫在“求新搞怪”的赛道竞争注意力；长期才可能退出“教育—技能—工作—工资—养育下一代”的循环，把真正热爱的写作、绘画或歌唱变成生活本身。田渊栋对终局乐观，但强调“中间有什么波折就很难讲”，且未来两三年 AI 向各行业工作流的下沉仍会持续。

当前大模型能辅助科研，却尚未跨过顶级研究者依靠少量证据发现本质规律的门槛。 Deep Search 查资料已经不错，但仍是“外行看起来很内行，内行看起来就很外行”；模型可能需要 1,000 或 10,000 个样本，优秀研究者却能从一两个异常联想到真正的细小因素。田渊栋不认为单靠更多预训练数据即可补齐差距，对五至十年内取代研究员“没有那么乐观”，更谨慎的估计是训练范式突破或许还需十至二十年。

生成式 AI 正把技术组织推向少而精、管理者也保持 hands-on、核心人员由多个 AI 放大的结构。 田渊栋从 2021 年强调 leader 不应埋头细节，转到 2024 年重新要求自己看代码、写代码，因为纯管理层会失去技术敏感性，而“一个人加上很多 AI”可能强过一个小团队。节目提到的 OpenAI、Hugging Face 和 DeepSeek 案例都指向同一趋势：能迅速判断 o1 Preview 等前沿变化、同时亲自落地的 leader，会让组织转向和执行显著加快。

AI 已进入小说生产链，但最有价值的创意、结构与转折仍由人提供。 DeepSeek 适合开脑洞却容易逻辑失控，Claude 3.5 更能感知配角关系，Gemini 2.0 擅长细节描写，4o 相对平淡；共同问题是长文本遗忘、套路化和“王子公主幸福结局”。田渊栋用 Cursor 编写自己的协作工具，由人写大纲和关键段落、模型补空白；他的判断是，程序性写作会被标准化，而“从来没有被探索过”的个人经验将成为 AI 最需要的新鲜知识。

🔗 原始收听与视频来源： 116: 当AI研究者写科幻，与Meta田渊栋聊他的智能想象：我们终会“所思即所得”