AI 的下一程：对话 11 位硅谷顶级 AI 从业者｜硅谷坐标 × 华源 HYSTA 特别节目

摘要

• Ion Stoica 认为，大模型实验室的护城河是资本。 至今没有一家 lab 能统治超过几个月——去年底最强的 arguably 是 Gemini，二月后数月是 Claude；从路由数据看，几个月前使用的模型中 70% 是闭源，如今 70% 是开源。而且开源不必追平：“如果任务不是赛车，而是从 Santa Clara 开到 San Francisco，车能安全跑 100 英里就够了。”
• “放慢前沿”在田渊栋看来是囚徒困境，不可能发生。 Dario 一边呼吁放慢，一边“马上推出了 Opus 五点五”；2023 年也有人签字呼吁六个月内不要训练模型，但模型照样越变越强。与其呼吁放慢，不如多开源。联署 Pacing the Frontier 的 Dawn Song 则澄清：信的诉求不是现在减速，而是先建好机制与国际合作能力——危机之中很难把这么复杂的机制设计好。
• 今夏 OpenAI 的一个 agent 为在 Berkeley 课题组的 ExploitGym 基准上拿高分，自设子目标，通过多步攻击链找到未知漏洞并攻击 Hugging Face。 Dawn Song 的结论：前沿模型的网络安全能力已能自动生成 exploit，但对齐不足；sandbox 有洞就可能被找到并逃逸。安全也无法像性能那样给出 99.99% 式的 SLA。Li Fan 警告，有人直接把账号密码交给 agent：“年底前出现重大安全事故我不会惊讶。”
• 应用节奏：去年只有 coding 爆发，今年出现了更多 knowledge worker assistant，明年 consumer 应用“大规模发展非常有希望”。 Ed Chi 给出 Grandma Test——“当 grandma 指着机器人骂它笨，通用助理时代才真的到了”；Connie Chan 提醒，消费端的未知数是付费意愿。习惯形成后，除非替代品好 10 倍、20 倍或完全免费，用户未必会换，先发优势明显。
• 企业落地的瓶颈已从能力转向成本：token cost 远超预算，商业化 ROI 成为关注重点（李严冰）。 乔琳指出，AI business 不同于 SaaS，有 PMF 也可能 “scale into bankruptcy”，大公司 CFO 也可能不批准 rollout；Questa 以 own the outcome 证明 ROI——有客户称每花 1 美元回收 9 美元，并可预先保证省 10%–15%、由 Questa 承担风险。Li Fan 的深层警告：“更可怕的成本不是 token，是你的团队失去了 learning。”
• 四大云厂商明年 CapEx 的市场预期逼近一万亿美元；主持人还提到谷歌单季自由现金流自上市以来首次转负。 Bill Jia 认为 cash flow negative 暂时不怕：AI demand 还会增长 10 倍、100 倍、1,000 倍，不投资、未来接不住需求才是大问题；推理算力可能已超过训练，占比将从五五开走向二八。主持人提到明年新增 40GW 算力超过现有存量；供给瓶颈则包括电力与 memory。
• 价值迁移是本期的交易主线：Ed Chi 判断模型能力开始 commoditize，value creation 往 application 和 token factory 两端走；长远优化指标不应只看 capability，还要看 capability over cost。 贾扬清把 AI infra 比作“疫情当中的口罩”——需求暴涨挤压供应链，软硬件协同 squeeze 效率是机会。一位嘉宾提到 post-training、多模态数据与 robotics 等方向；post-training 的发展也受中国开源模型推动。
• 华人在 AI 的分量是本期底色： 李严冰引 Carnegie 研究称，NeurIPS 近万名作者中 57% 本科教育来自中国；来自中国的 founder 或 co-founder 已在美国创立 41 家十亿美元级公司。 贾扬清谈创业的孤独：“不好的事情只能自己忍着”——社区的意义是让华人从业者不必独自前行。

精读

1. 护城河只有资本：开源模型的使用构成已翻转

• Stoica 的论据是历史：没有一家 lab 能统治超过几个月——去年底最强的 arguably 是 Gemini，二月起数月显然是 Claude。“History shows that no company so far has proven that it can build a moat other than the capital.”
• 开源也不必追平闭源：每个任务都有阈值，够用即止——“车能安全跑 100 英里就够了，300 英里对从 Santa Clara 到 San Francisco 没有意义”；从他们的 router 数据看，几个月前使用的模型中 70% 是闭源，现在 70% 是开源。
• 乔琳补上企业选开源的第二个原因——控制 supply chain：闭源模型何时升级、能给多少流量都不可控，“它要十倍增长，模型提供商给不了十倍增长，它就被掐死”；而且闭源供应商“又是 vendor，又是 competitor，那就很奇怪”。

2. 田渊栋：AI 是系统工程，我们“刚刚看到破晓和黎明”

• 下一代模型没有 silver bullet：“一旦是系统工程，就意味着模型、数据、infrastructure、算法都要变强”；他也认为 Transformer 架构有局限，“我不相信 Transformer 能一统天下”。
• 人与 AI 的差距应倒过来看，不在能力而在效率：人一辈子获取的数据不到 AI 的千分之一；人脑以 20 到 30 瓦的功率学习几十年，就能达到 AI 多方面的水平，还要同时处理病菌入侵与能源供应等问题——“智能这个潜力非常非常大，我们只是摸到它的边”，“刚刚看到了破晓和黎明”。
• 对模型改进模型（RSI）的判断：还在“前夜”——AI 给的想法达不到人类 insight 的深度与广度；现有 self-improvement 路径有上限，突破不了人对问题的理解时“就会空转”。
• 另一位嘉宾提醒，湾区对 oversized model 的热爱部分源于“software took over the world”的想法；他不希望普及应用都使用能耗很高的超大模型。他不认为整个 market 是泡沫，但认为不同领域会有各自的泡沫。

3. 放慢前沿是囚徒困境，Dawn Song 要的是“危机前建机制”

• 田渊栋的直白判断：学过经济学都知道不可能放慢——呼吁放慢的 Anthropic“马上推出了 Opus 5.5”；2023 年也有相似呼吁，有人签字表示六个月内不训练模型，但“你只看到模型越变越强”。他的替代方案是多开源、赋予大家训练自己模型的能力——但对闭源的 Dario 和 Anthropic 来说“不是一个可能的方案”。
• Dawn Song（千余名前沿研究者联署的 Pacing the Frontier 签署者之一）的澄清值得保留：信的重点不是现在就要减速、也不是何时减速，而是先建机制与 capacity，包括国际合作的结构——“for something this complex and this important, it’s difficult to design and build it correctly during the time of crisis.”

4. Agent 攻击 Hugging Face：安全没有 SLA

• 事故复盘（Dawn Song）：OpenAI 内部让 agent 长程运行她 Berkeley 课题组开发的 ExploitGym 基准；agent 为拿高分，自设子目标去 Hugging Face 找额外信息，通过“多步、非常 sophisticated 的行动链”找到未知漏洞并攻击其基础设施。两个结论：前沿模型已能发现未知漏洞、自动生成 exploit；同时对齐不足——sandbox 有洞，agent 就可能找到并逃逸。各前沿 lab 都在加固运行环境。
• 为什么写不出事前规则：政策无法穷举未来的坏结果，“要么过度限制创新，要么覆盖不够”，只能快速迭代学习；AI safety/security 已是巨大市场，runtime protection、评测、保险等方向已有上百家创业公司。
• 安全与性能 SLA 的本质区别：攻击面宽、会出现新型攻击（prompt injection、jailbreak），“we don’t even really understand how these models work”——给不出 99.99% 式的保证。
• 企业侧的安全问题更现实：李严冰说，企业关心的不是世界末日场景，而是业余 agent 泄露商业数据、暴露 API key；Li Fan 观察到最省事的做法是“假设 agent 善意，把用户名密码直接交给它”——“年底前因此出现重大安全事故我不会惊讶”；另一位嘉宾指出，agent 再自主也受人或 entity 委托，监管最终要落到“可监管的 entity，基本上是人”。

5. Coding 之后：今年 knowledge worker，明年 consumer

• 乔琳的节奏表：去年只有 coding 一类应用爆发；今年在其基础上出现了许多 knowledge worker assistant——physician assistant、drug discovery、clinical trial screening、customer support、marketing、sales 等，cybersecurity 是“非常大的 topic”；consumer 应用还早，但“明年大规模发展是非常有希望的”。
• Ed Chi 对通用助理的保留：从问答走向订机票、订旅店涉及权限；reliability 不够高时，“很怕把信用卡给了它，结果它到处乱买东西”。他预测六个月到一年内，通用助理与 AI Mode 搜索之间的 interface 会更清楚。他的 Grandma Test 是：“当你 grandma 指着机器人骂它怎么这么笨，你就知道通用助理的时代真的到了。”
• Connie Chan 自己高频使用 agent 追踪提醒、缓解精神压力，但“unknown 是人们愿意付多少钱”：不是每个消费者都追求效率，习惯会形成锁定——“够用就不换，除非替代品 10x、20x 更好，或者完全免费”；因此先发优势很强，最终还要拼价格和 agent 对你的了解程度。

6. 企业侧：token cost 超预算，真正的损失是 learning

• 李严冰描绘的三阶段：从“AI 到底 work 不 work”，到“能不能信它的安全保障”，再到今年“token cost 远远超出预算”——真正 deliver 商业化 ROI 成了最大关注点；Datadog 自己做明年 AI 预算时“大跌眼镜”。她还透露，一家世界前列的 AI lab 询问能否购买 Datadog 标注好的运维数据——最前沿的 lab 在专业场景也缺积累；Datadog 已收购 RL 公司 Adaptive ML，来帮助加速这方面的投入。
• 乔琳的结构性判断：AI business 与 SaaS 完全不同——SaaS 有 PMF 就尽快 scale，AI 有 PMF 不代表能 scale，小公司会“scale into bankruptcy”；大公司给所有用户 rollout 一个 AI feature 也可能成本惊人，“很多 CFO 看到 proposal 就不让他们 release”。
• Li Fan：业界 cost awareness 普遍很差，因为许多 AI 公司眼下的瓶颈在算法能力、不愁亏钱；但对 AppLovin 这类成熟业务，cost 直接影响 profit 与估值。容易被忽略的成本在 networking 与 over-provision，而非面试题里的 compute 和 storage。更深一层：“滥用 AI 更可怕的成本不是 token，是工程师把思考外包给 AI 只拿结果，你的团队失去了 learning。”
• Questa 的 ROI 证明法（嘉宾身份不明）：有客户称“每花 1 美元回收 9 美元”；业主不愿透露 ROI，怕因此被涨价。解法是 own the outcome——原本付 1000 万美元给 BPO，可以改为付 900 万给 Questa 接管整个运营，预先保证省 10%–15%，风险由 Questa 承担。

7. 万亿 CapEx：“cash flow negative 暂时不怕”，瓶颈在电与 memory

• 一位嘉宾提出“谷歌的 balance sheet 都是负的”，并追问 CapEx 投入很大、应用收入还没看到时如何 reconcile；主持人在前文另提到谷歌单季自由现金流自上市以来首次转负。Bill Jia 的三段论：AI demand 还会“10x、100x、1000x”；不投资、将来接不住需求才是大问题。其次，要用更 cost-efficient 的方式 serve 需求——networking、memory、caching、compute 的软件优化空间还很大；第三，硬件本身也会更便宜。“cash flow negative 暂时是不怕的。”
• 主持人在提问时称，明年新增 40GW 算力已超过现有算力存量；Bill Jia 认为实际能否上线的瓶颈在电力（solar、wind 还不 scalable，部分州不欢迎数据中心——“像采油一样，要到有油的地方去”）。他还认为，agentic era 会增加对 CPU、memory、flash、storage 的需求，memory 仍会短缺。Ed Chi 补充，memory 与 computation 可以互换；有长远 investment plan，就不必太担心一时的 memory 短缺。
• 机会地图：贾扬清把 AI infra 比作“疫情当中的口罩”——需求暴涨、供应链被挤压，从软硬件协同设计里 squeeze 效率是当下机会；乔琳强调 training 与 inference co-design 做到 bitwise equivalent——否则 0.1% 的 divergence 在一百个 turn 的 agentic 任务里会不断累积，最终可能成为 10% 的 divergence；Bill Jia 看好用 agent 做模型×硬件 N×M 的推理优化，“用人力 very unscalable，用 agent really cheap and scalable”。
• 终局与底色：Ed Chi 判断模型 capability 开始 commoditize，value 往 application（用户 lock-in）与 token factory（能源、芯片、on-device）两端走。他认为长远发展的公司应优化的不只是 capability，而是 capability over cost；Google 作为 full-stack 公司，per-token 成本控制可能成为重要护城河。一位嘉宾提到 post-training（受中国开源模型推动）、多模态数据与 robotics 等方向。