摘要

Scaling Laws 依然成立——不要押注它会失效。 2017年至2025年间在 Meta 从事基础 AI 研究、如今加入 Cohere 的 Pineau 表示，Scaling Laws“表现得异常稳健……过去有很多人押注它会失效”，但她不会这么做。不过，算力和数据只能带来近似线性的进步；非线性跃升来自算法（transformer、Adam、reasoning），而这恰恰是投资者最难判断“该把筹码押在哪里”的地方。
今天的 AI 编程，就像2015年的图像生成。 Pineau 的类比是：2015年的图像生成分辨率和构图都很差；如今的 AI 编程也会产出大量糟糕代码，其中很多最终会被丢弃，但她认为再过10年，代码质量会非常出色。其结果是：当生成变得充裕，价值会转向筛选——“策展、验证，这些工作不会消失”，机器生成内容的海量产出之上，会出现一位“首席策展艺术家”。
“10倍”重构动摇了 Stebbings 的判断框架： Pineau 用“能否让大多数员工完成10倍的工作”反驳 David Khan 的“AI 能否替代每个职能中最差的5%”指标——她认为这“未来几年内”就能实现，部分工作甚至会达到100倍。 Stebbings 随即追问，这是否削弱了 VC 的基本假设：回报必须来自人力预算转化为 AI 支出；真正的机制可能不是替代员工，而是效率提升。
数据正在成为上升最快的成本项。 “这是猫、这是狗”式的简单标注已经过去；如今昂贵的是拥有专业领域经验的人才，以及构建合成环境来训练 agent 的创意人才。谈到标注公司（Mercor、Surge，可能还有 Turing）时，她说：“其中一些公司5年后可能已经不存在，但让人类引导并训练 AI 系统行为这一逻辑，会一直存在。”
不能只把 Galacticos 买齐。 团队需要愿景、执行力和社会黏合剂；“我不认为把一群 AI 超级明星全塞进一个房间，就能让团队变得高效。”在被追问 Andrew Tull、Daniel Gross 和 Alex Wang 时，她承认，如果负担得起，确实需要“少数几个这种超级人才”，但对于数十亿美元级别的价格，“时间会给出答案”。
Agent 开辟了新的安全战线，而大量问题仍未知： LLM 对应的幻觉风险，在 agent 身上对应的是冒充——agent 代表“并不真正授权它们的实体”采取行动，包括渗透银行系统。 “关于这些系统的脆弱性，我们还有很多不了解的地方。”
这是一个“方差更大的泡沫”——上涨更猛，下跌也更深；只有能承受风险，AI 才是好的投资。 她的逆向判断同样适用于两端：她承认自己曾经怀疑神经网络而“错得相当离谱”，也认为关于生存风险的讨论缺乏科学严谨性，并表示最想禁掉的一个 buzzword 是“existential risk”。

精读

1. RL 是基础，但效率极低

Pineau 从事强化学习已有20多年，也见证了它随着 reasoning model 和 agent 的兴起而进入公众视野。她在 Meta 得到的教训是：验证一个假设究竟需要多长时间。针对 Andre 在上一期节目中“RL 很糟糕”的说法，她回应：“比20年前没那么糟了。”她依然“非常看好 RL”这一概念——通过奖励进行训练“如此基础，不会消失”——但认为“仅靠开箱即用的 RL 就得到 AGI，这件事没那么乐观”。
RL 低效的原因很明确：序列决策意味着动作树的每一条分支上都会累积错误，“就像在大海捞针”；同时，模型必须通过行动来学习，这要求建设模拟器和合成数据，而要让这些模拟器具备足够多样性，成本很高。
只要奖励函数可以被写出来，成本就已经下降——AlphaGo、数学、定义清晰的 reasoning 和游戏都属于这一类。但“用 RL 塑造模型行为、让它们成为社会性生物，我们完全不知道该怎么做”；这就像育儿，“你重复同一件事多少次，它们却还是做别的事……你不知道如何用数学把它写出来”。

2. Scaling Laws 稳健，算法是非线性杠杆

她对进步的拆解是：算力和数据带来的是近似线性的提升——更多算力、更大模型、更好表现；算法则是非线性的，transformer、Adam 优化器以及 reasoning-in-the-loop 都属于范式变化。问题在于，算法创意“可能需要很长时间才能验证”；成千上万篇论文，仍未在合适的规模、数据和超参数下被真正测试。
对于 Scaling 是否会延续，她说：“Scaling Laws 表现得异常稳健……它们不能单独发挥作用，我们还需要这些算法创新，但大多数时候我不会押注它失效。”
算法也是最难下注的方向：算力和数据可以买到，但选择算法路线“有点像强化学习——不到终点，你不知道自己选的是不是正确方向”。她的结论是：这是“最有意思、最令人沮丧、当然也是从投资者角度最困难”的变量。
经济层面最大的结构性问题是不可预测性：“所有人都想知道突破什么时候到来……我到底需要多少 GPU……能期待什么回报”；但这项技术根本无法提供这些答案，于是每一个数据中心、劳动力和数据决策都被迫承受风险。

3. 让劳动力提升10倍，而不是替代劳动力——Stebbings 的判断开始动摇

针对 David Khan 的指标——AI 能否在任何职能中替代最差的5%——Pineau 反问：“能否让大多数员工借助 AI 完成10倍的工作量？”简单替代员工“其实相当不现实”，因为人和 AI 的能力是互补的。Stebbings 认为10倍的要求更令人不安，她则回应：“我完全不认为这不现实……未来几年内就可以做到。”
她给出的具体案例是：多页文档的机器翻译从数小时缩短到数秒。人类仍然负责提出问题、验证结果和定义任务，但一旦任务被明确，“按下按钮，几秒钟就能得到答案，而过去这件事需要几周甚至几个月”。
Stebbings 在节目中的即时重估值得保留：他的 VC 论点原本假设，赚钱的关键在于“人力预算转化为 AI 支出”；而 Pineau 的回答意味着，收益可能体现为效率提升，“有些工作会更难……但另一些工作会达到100倍”。分界线在于任务定义的模糊程度：机器无法处理歧义，能够被精确定义的任务会最先自动化。
对于 Orman 所说的——年轻人把 AI 当作操作系统，年长者把它当作下一代 Google——她有温和的不同看法：“我看到很多人更多是把它当作工具，而不是伴侣”，把 AI 当成工作生活中的瑞士军刀。

4. Cohere 的本地部署切口与企业现实检验

Cohere（她加入还不到1个月）开发的是由企业在本地部署运行的模型。针对 Stebbings 认为推理可能占据市场95%的说法，Pineau 表示，公司需要考虑训练，但企业不必承担推理成本；她认为这会对高效模型形成结构性需求。Stebbings 追问：如果客户支付推理费用，你有什么动力提升效率？她的回答是：“我们仍处在企业采用 AI 的早期阶段，所以对客户有利的事情，对我们也有利。”
她离开纯学术研究的原因是：“当你需要把 AI 卖给一家企业时，你会得到真实信号，知道什么有效、什么无效。”学术基准能提供一些信号，“但让 AI 真正完成生产性工作，是另一回事”。这些来自现实世界的反馈，会反过来引导研究者在想法空间中搜索。
企业面临的最大障碍，是 AI 与数十年积累的信息系统整合；这也是 Cohere 聚焦本地部署和数据保密的原因。另一个障碍来自文化：“很多人觉得自己必须第一次就做对”，但技术的成熟度要求的是“探索和好奇的精神”。

5. 数据正在成为上升的成本项——从标注到构建环境

如果给她100亿美元，她会在人才和算力之间取得平衡——“人才太多、算力不够，就是在浪费时间”——同时拿出“一大块”预算投入数据，因为“我们经常低估数据的重要性”。Cohere 自身的算力资源“相当充足”。
数据变贵的原因是，猫狗标注时代已经过去。企业 AI 需要真正理解工具和业务逻辑的人；训练 agent 则需要“非常有创造力的人，来为你构建合成模拟器”，也就是把机器人模拟器的路径应用到工作流程。
谈到标注公司（可能是 Mercor、Surge 和 Turing），以及这是否是一个能长期存在的市场，她说：“其中一些公司5年后可能已经不存在，但让人类引导并训练 AI 系统行为这一逻辑，会一直存在。”变化的是人类需要提供什么信息。她看到的更大趋势，是“从单纯标注数据转向构建环境”。

6. 只有多样性消失的地方，合成数据才会崩溃——代码可以保存

合成数据是否会让模型退化，“完全取决于你如何生成它”。如果无法注入多样性——例如让 LLM 彼此对话——就会发生分布坍缩。她的完整类比是：“找一群人，把他们放到一座岛上，让他们繁衍……某个时候，遗传多样性会不断缩小。”国际象棋和围棋这类封闭世界可以生成大量合成数据，但也不是无限生成，因为世界本身是封闭的。
代码处在两者之间，而且位于更有利的一侧：“我可以拿几个代码仓库，把它们混合匹配，再用 LLM 进行转换。”结构加上可以注入的多样性，使代码能够进行大规模合成训练，而不会发生坍缩。
她对代码质量担忧的标志性判断是：现在的代码生成，就像2015年的图像生成——分辨率差、构图差，但随后一路取得巨大进步，直到大约2022年。“是的，现在生成了很多糟糕代码……但再等10年，生成代码的质量会非常出色。”
沿着这个类比走下去，终局是产出规模：真正重要的将变成“从海量内容中挑出高质量内容”，也就是一种筛选机制、一种编辑设计选择。Stebbings 说：“所以会出现首席策展艺术家。”Pineau 回答：“是的……策展、验证——这些工作不会消失。”当 Stebbings 指出这会消除人类之间的协作时，她回应：“这就是你获得10倍生产力提升的地方。”不过，意图和批评仍然由人类掌握；一旦设计师可以从想法直接进入数字世界，团队构成也会发生显著变化。

7. Agent 安全：冒充是新的幻觉

Agent 正在打开一条新的安全战线，而“关于这些系统的脆弱性，我们还有很多不了解的地方”。LLM 的风险向量——prompt injection、jailbreaking——正在通过 red-teaming 被逐步理解；agent 还没有经历同等程度的审视。她的类比是：LLM 会产生幻觉，agent 则会冒充——“代表并不真正授权它们的实体采取行动，比如渗透银行系统”。安全仍是一场“猫鼠游戏”；最直接的缓解方式，是让 agent 与互联网隔离，以信息访问能力换取风险下降。
谁来裁定 agent 是否经过验证？她认为：“政府擅长制定大家共同遵守的标准；企业更擅长大规模构建解决方案。”她以航空业为例：政府定义规范，最终带来了令人难以置信的50年安全记录。但监管“不应走在技术前面……那会把顺序搞反”。
对于主权 AI，她认为在美国和中国之外开发的模型“有利于思想多样性”；但 Cohere 的“愿景不是成为一家加拿大公司”，而是一家全球公司。加拿大总部让公司更敏感地意识到，一套标准无法适用于所有市场：“你去日本、韩国，他们确实希望拥有在本国语言中运行良好的模型。”

8. Galacticos：需要少数几个，不需要整套名单

她的团队配方是：1至3个拥有愿景的人；一批“执行力惊人”、且“不在乎这是不是自己的想法”的人；以及社会黏合剂。她见过的失败模式是，团队里只有一种人——“把一群 AI 超级明星全塞进一个房间，却没有执行机器，也没有社会黏合剂”。此外还需要聚焦：明确北极星目标，即使这个目标随着时间推移需要改变。
Stebbings 直接反问：如果不需要把 Galacticos 买齐，为什么这个团队还要集合 Andrew Tull、Daniel Gross 和 Alex Wang？她让步说：“确实需要少数几个这种超级人才……真正深刻理解这项技术的人数量相对有限……如果你负担得起，就应该招一些”，但不需要把整套名单都买下。至于每人30亿美元的价格是否合理，她说：“时间会给出答案。我不认为一定需要达到那个规模。”
对于“见过成功”所带来的溢价（可能指 Mira Murati 以100亿美元估值融资20亿美元），她认为，履历不仅意味着掌握核心配方，也意味着“曾经组建出优秀团队、打造世界级模型的成就——这里面有很多细微之处”。
她从 Zach 身上学到的一点是：“他从不松懈……他学习 AI 时提出的问题之深。”你可以拥有最出色的团队，但作为领导者，仍然需要深入理解这项工作。

9. 一个方差更大的泡沫，以及她放弃的判断

对于好泡沫与坏泡沫，她的看法是：“我把它看作一个方差更大的泡沫——上涨会更大，下跌也会很深。只要人们能够承受风险，AI 就是一项很好的投资。”Evals 是“衡量系统性能的单元测试”，是很好的指标，但不应成为优化目标：“没有客户会问，你的模型能不能赢得数学奥林匹克竞赛？”
她最值得借鉴的一次改变看法是：“我过去相当怀疑神经网络是否真的是机器学习的终极方案。”每一次过去的规模跃升，都曾有更好的方案出现，比如21世纪初的 SVM；“而这一次，我似乎错得相当离谱。”她的认识论是：“我的信念不强，但我对科学方法有非常强的敬意。”
她认为别人错在：“作为科学家，我对那些预测极端情境的人缺乏耐心……比如 AI 最终成为我们的霸主……我认为你缺乏分析这类情境所需的科学严谨性。”她最想禁掉的 buzzword 是“生存风险”——“我们不是出于恐惧，才做出最好的工作。”
最后有两个判断：市场确实需要高效的小模型——2019年的小模型 RoBERTa 在大语言模型狂热期间每月获得2000万次下载；她希望看到能在1至2块 GPU 上运行的模型。行业转向封闭系统和封闭访问则是“一个深刻的错误……想法会流通，人们也正在让它们流通”。如果今天投资，她会选择医疗健康和科学发现，预计“5年内就能看到真正切实的进展”。

Sacks、Andreessen 与 Horowitz：美国如何赢下对华 AI 竞赛为什么人类仍在驱动 AI [赞助内容] - Phelim Bradley