Agent Infra: Baidu's 王雁鹏 on Models, Agents, and AI Infrastructure

Summary

• 王雁鹏的核心判断是：模型能力的边界在哪里，最终的基础设施就会长什么样，而这个边界还在快速移动。 从模型能力提升后 Prompt 模板公司“这一波可能就没有了”，到 Context Engineering，再到“新时代的数据库是不是 Memory 系统”仍没有答案，Agent Infra 的抽象层尚未定型。王雁鹏认可主持人卫诗婕的比喻：这就像一个不断长身体的青春期孩子，没人能提前给他量身定做一套合身的衣服。
• Agent 已从 Chat 阶段进入“完成真实任务”阶段，但距离真正进入生产还有一个临界点。 用 Agent 做 Demo 很容易，做出能覆盖边界条件、稳定复现、让人放心使用的线上系统仍然很难。王雁鹏判断，“完成某一部分工作相对容易，但替代一个岗位还不行”；但业内共识是，Agent 替代岗位、重组工作流“一定会发生”。
• 未来模型会成为 OS，Agent 的数量会越来越多，而不是最终收敛到少数几个。 大模型吸收的是思考方式和工作范式，但每项任务的 Know-how、Workflow、记忆和沉淀数据“不会被大模型完全吸收进去”。因此，海量 Agent 会不断涌现，最终带来生产力井喷；巨头争夺的第一入口就是这个 OS，“OS 是大家要争夺的焦点”。
• 一个可跟踪 Agent 落地进度的信号是 CPU 消耗量。 Agent 用 GPU 思考，再交给 CPU 调工具执行；Multi-Agent 可以并发完成 1,000 个人的工作。如果 CPU 消耗量接下来大幅增加，就说明 Agent 正在生产环境中更快落地。与此同时，Agent 的上下文爆炸——最先进的模型已支持 1M 上下文——将推高 HBM 等高端存储的需求；存储扩产至少需要两年，而前些年消费电子疲软又导致行业长期供过于求，供需错配解释了本轮涨价。
• NVIDIA 的护城河是一个“鸡生蛋”式闭环：最先进的模型是在它提供的最先进系统上做出来的。 NVIDIA 已从芯片公司变成系统公司，覆盖 CUDA、互联、超节点和自研 CPU。真正的缝隙在推理：模型训练完成后，不必完全绑定 NVIDIA 的全家桶；NVIDIA 自己也收购了 Groq，并在 GTC 推出 GPU+LPU 混合推理方案，因此推理领域“有机会出现不一样的玩家，或者不一样的巨头”。
• 四家巨头对应四种打法：Google 十年积累的 TPU+JAX 垂直整合终于在这一代奏效，王雁鹏认为它拥有如此深厚的全栈积累，没有理由做不好。 但 TPU 是为 Google 自己打造的，外部用户使用时“80% 的算力都发挥不出来”。Anthropic 两年前聚焦 Coding 这一“高价值任务的底层能力”，通过签订协议保障算力供给，目前还没有看到明显的自研芯片投入，是相对轻资产的一家。OpenAI 的底层意图是做生态平台——用 GPT Store 对标 App Store，与 Broadcom 合作并投资芯片、建设“星际之门”，希望把生产资料掌握在自己手里。
• 中国的 Infra 会走出自己的路径：国内被迫适配多种芯片，但开源程度远远领先美国，模型架构的演进是透明的，芯片设计者更清楚该往哪里走。 相比之下，Broadcom 只能依靠 OpenAI 告诉它方向。终局究竟是一家通吃还是寡头共存？王雁鹏的判断是“不好说，不排除”一家通吃，就像代工基本上被 TSMC 一家做起来。
• 百度用 Token 效率和 DAA（Daily Active Agents）双指标牵引业务，拒绝用短期 Token 增长换取长期价值。 Token 指标“很快就被玩坏了”，DAA 衡量的是真实完成的任务及其价值。商业策略则是学习 TSMC：“在他们还比较小的时候就和他们合作”，与未来的明星公司、未来的巨头一起成长。

Deep dive

1. Infra 的代际跃迁：CPU 时代拼软件，GPU 时代软硬一体

• 王雁鹏 2011 年加入百度，自称“应该算是”国内第一批在互联网公司做硬件的人。那个时间点的标志是，互联网公司的服务器采购首次突破 10,000 台。他的职业主线始终围绕最重要的工作负载——当时是搜索——做从应用、算法到硬件的全栈优化，先后自研 SSD、CPU、硬盘和 GPU。
• 他对 Infra 的定义是抽象出一个足够通用的层次，“对下面有很好的抽象，对上面有很好的支撑”。往大了说，TSMC 也是制造业的 Infra。上一代 Infra——操作系统、数据库和云——全部是软件视角，因为 CPU 已经把芯片能力固定下来，可以均衡地运行各种应用。
• 这一代的根本变化在于，“GPU 极大地释放了算力，但它牺牲了通用性”。算力可以堆得很高，但要让不同场景、不同算法真正发挥出来，需要投入大量工作，因此纯软件 Infra 被推向软硬件一体化。做 AI Infra，首先必须熟悉芯片体系结构。

2. Agent 三阶段：能完成任务，但还替代不了岗位

• 王雁鹏的分期是：Chat 阶段解决信息获取；今年以 OpenClaw 爆火为标志，Agent 真正进入完成真实任务的阶段。“今天人操作的所有基础设施、各种软件，都要被 Agent 去用了。”但 Agent 的使用方式与人不同，下一阶段最重要的问题，就是基建和工具该如何搭建。
• 第三阶段是进入生产环节，处理严肃任务。现在用 Agent 做 Demo 很容易，但稳定运行、覆盖各种边界条件、让人放心使用的线上系统仍然很少。另一个衡量标准是：“完成某一部分工作相对容易，但做一个岗位这件事还不行。”例如，Agent 目前仍不太能替代一名后端研发工程师。
• 尽管行业仍卡在“可用但还没有到好用、安全、放心使用”的阶段，王雁鹏与业内共识一致：Agent 替代岗位、形成新的组织工作流，“一定会发生”。

3. 制约在哪？模型能力边界决定基建，而边界还在动

• 他用历史经验回应 Agent 创业者“不敢不做、又怕白做”的不安。ChatGPT 刚出现时，一批估值较高的公司在做 Prompt 模板；模型能力一提升，“这一波可能就没有了”。随后行业转向 Context Engineering，把复杂任务拆到不同上下文、不同角色和不同工作流。“模型能力的边界在哪里，就决定了你最终的那个基建。”
• 核心问题仍未解决：上一个时代的大多数应用都建立在数据库之上，但“新时代的数据库是什么？是不是今天的 Memory 系统？它到底要做成什么样子？”抽象层尚未确定，开发范式就在持续变化，工业级普及也就无从谈起。卫诗婕将其比作一个不断长身体的青春期孩子，无法提前量身定做一套合身的衣服；这个比喻得到了王雁鹏的认可。
• 但也有相对确定的部分。百度云坚持“芯模一体”和四层架构协同发展，推导链条是“模型的智力等于算力，算力等于电力”，因此主线仍是降低单位 Token 成本；再加上一套 Runtime，让 Agent 可控、可信任、结果可重复。这些确定性较高的能力，适合由底层云厂商率先建设。

4. Claude Code 定义的 Harness 范式：一个 Loop、底层工具、文件系统

• 王雁鹏对 OpenClaw 的第一反应是“好像没什么特别”，因为程序员世界几个月前已经被震撼过一轮：Opus 4.5 加上配套的 Claude Code，已经能完成不少原本由程序员承担的工作，尤其是前端开发、写网站和功能不太复杂的 App。
• Harness 可以拆成 3 件事：主循环 Loop、被调用的工具和 Memory 系统。Loop 的工作方式是让大模型查看上一步的结果、分析问题、决定下一步，再检查是否达标。“完成几乎 90% 的任务，我都可以用这个 Loop。”不需要针对每个场景再做大量泛化。
• 关键设计是用文件系统而不是 RAG 作为记忆。RAG 本质上是数据库，范式固定，只能根据关键词召回相关片段，并不通用；“文件系统就是一个笔记本，你想写什么就写什么”，可以存储所有工作流，因此成为适用于任何工作的底层范式，不必为专用任务再开发一套系统。

5. OpenClaw 与 Manus：把 Coding 范式产品化到全场景

• 他的第二反应才是看到了 OpenClaw 的震撼之处：它把 Claude Code 的范式从 Coding 泛化到了所有场景。“不是程序员冷冰冰的交互接口，它有记忆，还可以给你提供情绪价值。”不懂编程的人只要说想做一个网页，它也能马上完成。“它真的让人感觉到 AI 是可以成为一个人的。”
• 王雁鹏认为，OpenClaw 的角色化和拟人化推动了人与 Agent 关系的进化，可能进一步建立信任。卫诗婕则认为，这会让人愿意把更多权限交给 Agent，让它承担更多事情。
• 随后爆火的 Manus，在范式上“没有那么大的变化”，但解决了一个真实痛点：自动进化 Skills。Manus 会定期复盘——今天完成了哪些任务、第一次完成时哪里做得不好、用户给了什么反馈、后来是否做得更好——再把这些经验整理成第二天可用的更好 Skill。这回答了“越用越聪明这件事情到底能不能做成”。
• 卫诗婕追问，给 Claude Code 或 Codex 反馈也会让它进步，两者有什么区别。王雁鹏认为，目前还没有把更拟人化的 Memory、自动收集 Skill、自动整理知识，并将这些能力作为通用组件全部自动化；OpenClaw 和 Manus 是分别在产品化的某个环节解决了重大问题，让产品更好用。

6. 模型将是 OS：Agent 会井喷，不会收敛

• 卫诗婕的问题很直接：Agent 会永远越来越多，还是在范式收敛后，被约束在一个最高效的数量里协作？王雁鹏站在前者一边：“我个人觉得会是 Agent 越来越多。”当前的无序只是行业在摸索能力边界；未来“大模型+Agent”会像操作系统一样，在其上生长出各种场景应用，效率“很可能是数量级的提升”。
• 他的底层判断涉及“一个模型能否完成所有工作”：“模型以后会是 OS，是一个 IQ 很高的大脑，但每一个任务的上下文、记忆、工作流、踩过的坑、专业 Know-how，这套东西不会被大模型完全吸收进去。”模型吸收的是思考方式和工作范式，但每项具体工作的 Workflow 和积累数据都不同，因此会出现大量 Agent，最终带来生产力爆发。
• 卫诗婕将通用大脑比作天才，这一类比得到认可。天才并不会从 Day 1 起就能完成所有事情，中间的学习成本必须由模型之上的应用层来跨越。

7. Agent 对 AI Infra 的冲击：上下文爆炸，主线仍是 Token 成本

• 上一代 AI Infra 交付的产品界面是训练集群加推理集群。Agent 时代的第一重冲击，是上下文变得极长——最先进的模型已经支持 1M 上下文。Chat 时代再怎么对话，也只是聊天窗口的规模；Agent 执行任务时要浏览大量网页、调用各种工具，执行完还要把完整上下文取回并重新输入，因此需要“小步快跑”地迭代很多轮。有时一轮反馈由大模型自己生成，再由它决定下一步。
• 对硬件团队而言，这一变化冲击很大。系统设计本质上是在算力、网络和存储之间做平衡，同时支撑更长上下文、更多模型和更多芯片；贯穿始终的主线仍是“降低单位 Token 的成本”。
• 与旧 Infra 的关系是延展，而不是推倒重来。上一代 Infra 会变成提供更便宜 Token 的底座，其上再建设一套为 Agent 设计的运行时，支持多轮迭代，并满足生产环境对安全性、稳定性和结果可复现性的要求。

8. 三支柱盘点：多芯、存储周期、超节点，以及 CPU 这个信号

• 国内算力环境的特殊性在于，芯片需要“拼拼凑凑”，必须把国产多芯用起来。难点在于芯片设计是系统工程，充满取舍，这正是 NVIDIA 强大的原因：最先进的模型都是在 NVIDIA 的算力系统上跑出来的，其他芯片在模型调用、推理等环节多少会有差异。国内 Infra 必须面对更多芯片、更多地域和更多异构环境。
• 存储是一个值得跟踪的判断。Agent 时代需要保存更多上下文，HBM 等高端存储出现短缺；但存储是强周期行业，从投产一条产线到出货至少需要两年，且资本开支巨大。前些年手机、电脑等消费电子需求曲线走平，存储长期供过于求、价格持续下行；“大家没有预料到这一轮 AI 会这么强劲，让已经相对平稳的行业突然又回到了春天。”这一轮挑战还会深入芯片层面：为推理设计新芯片，以及从芯片、系统到软件的整个推理系统变革，都会“非常深刻”。
• 一个重要观测指标是 CPU 消耗量。Agent 用 GPU 思考后，把任务交给 CPU 调用工具；Multi-Agent 可以并发完成 1,000 个人的工作，带动搜索 API 等既有工具的 CPU 消耗。“CPU 的消耗量大量增加，就证明 Agent 在生产环境有了更高速的落地。”这与工具调用高度相关。网络侧则无需过度归因于 Agent：超节点——将机内 GPU 高速总线扩展至机柜乃至机房，带宽提升十倍到几十倍——是趋势，但“有没有 Agent 它都会做”，Agent 本身没有带来连接范式的变化。

9. 为什么这轮 Infra 成了兵家必争：智能=算力=生产资料

• 上一代互联网 IT 主要是成本项：服务 10,000 个用户和 1 亿个用户，成本差别并不大，边际成本不强。这一轮 AI 的算力突破催生了通用算法，“智能其实等于算力”，而算力天然变成了生产资料。
• 中美竞争为什么会“一下子捅到电力”？王雁鹏的推导是：做软件相对容易，做模型似乎也没有那么难，设计芯片难一些，流片更难，电力最难。“越往下走越重资产。”这些投入需要长期积累，不是一天两天就能建立起来的，这正是巨头重金投入 Infra 的本质原因。

10. Google：十年垂直整合终于奏效，慢一点也“没有理由做不好”

• 卫诗婕提到，去年 GPT-5 出来之前，市场普遍认为 Google 掉队了；GPT-5 出来之后，市场又认为 Google 行了。王雁鹏将其归因于近十年的 TPU、基于 JAX 而非 PyTorch 的软件栈、自有 Infra 和模型，最终实现了芯模一体化。理论上，自研芯片的成本也会更低一些，成为 AI 竞争的基石。
• 他认为，Google 具备做垂直整合的能力，底层积累足够深厚，每一层都没有明显短板，“没有理由怀疑它的模型一定做不好”。
• 最近两个月 Codex 追了上来，OpenAI 聚焦之后又重新占优，市场于是再次认为 Google 是一家不行的老厂。他的判断没有变化：“这就跟 GPT-5 出来之前是一样的。”Anthropic 的成功，很大程度上来自两年前决定聚焦 Coding 这一件事；Google 拥有如此强的底座，“可以稍微比你慢一点”，同时把几个方向都做好。
• 但 TPU 面向外部用户又是另一回事。卫诗婕问，使用 TPU 是否可能浪费 50% 的算力；王雁鹏回答，“50% 都是低估了”。如果算子写不好、系统做不好，“可能 80% 的算力都发挥不出来，因为它不是为你做的，它只是为它自己做的”。这也是训练系统很难打破 NVIDIA 生态的原因。

11. NVIDIA：打破摩尔定律封印的系统公司，缝隙在推理

• 王雁鹏对 NVIDIA 的敬佩有历史纵深。CPU 时代，行业被 Intel 的体系“锁死”：晶体管不断增加，上层软件无需修改，性能自然提升，这种软硬件切分驱动了整个 IT 世界。NVIDIA 从第一天起就试图打破这一边界，当然也押中了 AI。如今它“已经不是一个芯片公司，是一个系统公司”，覆盖芯片、互联、网络、CUDA、算子优化、自研 CPU、超节点和整机柜。代价是软硬件边界被打破：每换一代 GPU，上层软件都要大改。
• 它的闭环逻辑最锋利：“最先进的模型就是在它给你提供的最先进的系统上面做出来的，由不得你去定义系统。”对于 Broadcom 和围绕缝隙创业的公司，他直言“还是挺难的”——如何保证做出来的系统比 NVIDIA 更好？“大家永远在追赶，这是个鸡生蛋的问题。”
• 但缝隙确实存在于推理。模型训练完成后，不必完全使用 NVIDIA 的系统，有时间开发专门用于推理的芯片；NVIDIA 收购 Groq，也是希望在推理上推动更大变革。今年 GTC 上，他读到两个重点方向：GPU+Groq LPU 的混合推理方案，以及为 Agent 时代自研 CPU。独角兽层面，他提到推理芯片——Groq 只代表一种技术方向——以及 Fireworks 这类提高各种芯片利用效率、降低 Token 成本的 Infra 玩家。

12. OpenAI 想当平台，Anthropic 轻资产聚焦：两条 Infra 路线

• Anthropic 的重心是把模型和模型之上的 OS 体系做好。Claude Code“确实是领先的，Codex 也好什么也好，都在追赶它”；Coding 是“高价值任务的底层能力”，也是最强大的入口。算力方面，Anthropic 与各大厂商签订协议，包括 Amazon 和 Google，TPU 以及 Amazon 的芯片都可以买，从而保障供应安全。至少目前还没有看到它在自研芯片上的明显投入，是这些公司中相对轻资产的一家。
• OpenAI 的底层打法是生态平台，“它更想成为 Google”。当年推出 GPTs 和 GPT Store，对标 App Store，先把所有人拉进生态、形成用户黏性。沿着这一逻辑，就能理解它为何与 Broadcom 合作、投资芯片并建设“星际之门”：因为“生产资料得把握在自己手里”。王雁鹏还注意到，OpenAI 的指标已经从 DAU 等用户侧产品指标转向 Token 消耗，本质上是在转向衡量价值结果。
• 对最终格局，他不装作确定：“这一轮 AI 确实是生产力革命，但最后是一家全干了还是剩几个寡头，我认为现在不好说。”一家通吃是否真的可能？“不排除——就好比代工基本上是 TSMC 一家做起来，其他家虽然有 Samsung、Intel，但相对来说都少一些。”

13. 中国路径：开源的透明度是被低估的结构性优势

• 国内 Infra 面临的环境不同：海外基本统一在 NVIDIA 生态上，国内则天然需要适配国产多芯。但好的一面是，“中国的开源远远领先于美国”。闭源模型的结构外界无从知晓，芯片也就无从判断该如何设计；国内反响最好的几个模型都是开源的，模型架构的演进方向是透明的。王雁鹏反问，Broadcom 怎么知道下一步往哪里走？只能靠 OpenAI 告诉它。
• 一个破局案例是 Huawei 提出的“木桶定律”：当制程受限时，可以通过芯片架构等其他设计做出更强的系统。百度 Kunlunxin 大约在 2009 年或 2010 年就开始推进，最初没有直接做芯片，而是从 FPGA 做起，思路始终是深入硬件底层。如今 Workload 已从搜索转向 AI，“这些积累自然会发挥更大的价值”。
• 他的结论带有条件：“在芯片更多元、模型开源更开放的情况下，中国 Infra 会走出自己的路径。”芯片选择可能并不完全相同，但同样能够完成目标、实现更低的 Token 成本。至于中国 AI 是否因此拥有确定的演进轨迹，他坦承“现在可能还没有，大家都在找平衡点”。

14. 百度的两个指标与一次路径转向：DAA 牵引，拒绝杀鸡取卵

• 百度的差异化有两条。第一是更高效的算力和更高的 Token 效率——“大家都想往下做，但不代表你能把它做好，或者在正确的时间点做好”。第二是把云作为业务出口，希望下一代爆款应用从百度云上生长出来，包括 Agent 和具身智能客户，并“在他们还比较小的时候就和他们合作”。TSMC 当年也是从小公司起步，靠一笔业务做大；百度要与未来的明星公司、未来的巨头一起成长。
• Robin 提出的 DAA（Daily Active Agents）被王雁鹏解读为价值牵引。Token 指标“很快就被玩坏了，拿 Token 干没用的事儿没有价值”；DAA 衡量真实完成的任务及其价值。一个任务能够长时间运行，说明它有价值；价值乘以数量，就是创造的价值总量。路径是先让高价值任务可用、能够运行，再想办法让它使用更多模型，或使用成本更低的模型。
• 卫诗婕指出，这套指标不再把 Token 数量作为绝对衡量标准，而是更关注 Token 是否被用好。王雁鹏回应：“无脑使用 Token，我们肯定很开心，但这只是一个梦想……不能利用大家的恐慌心理，让大家都来烧 Token，那肯定不可持续。”
• 一次路径复盘是，大模型刚出现时，百度云投入大量精力帮助客户做微调、做专家模型。“今天看，那条路已经行不通了。”但追求没有改变：仍然是提供一个平台，帮助大家把应用做起来，只是产品功能和边界仍在变化。
• 收尾的个人感受，几乎是全篇的注脚：从 CPU 时代刻板的效率提升，到 Agent 时代开放式的 Agent OS 抽象，“你能做的探索空间比原来大很多”。整个研究范式也在工程化：大家都使用 Transformer 架构，“拼的不是灵光一闪”；无论算法、Infra 还是 Agent，都需要一套工程体系来驱动。对做工程的人来说，“这是一个更好的时代了”。