从算力到规模 AI基础设施的未来｜对话 Google 工程副总裁 Bill Jia

摘要

• Bill Jia 的核心判断：AI 发展仍处“很早期”，未来需求会“10 倍、100 倍、1,000 倍”地增长，因此当前为 AI 建基础设施是必要的。 他的投资逻辑是：如果需求上来时自己没有投入、而别人能满足需求，就会面临问题。
• 针对主持人关于谷歌 balance sheet 为负、CapEx 与收入错配的担忧，Bill 提到三条降本路径：模型提高 intelligence、减少 FLOPs；软件持续优化 networking、memory caching、compute 等；硬件本身也可以更便宜。 他认为，持续优化后最终可以实现 positive cash flow；如果继续优化，暂时的 cash flow negative 不用怕。
• 创业机会方面，他概括说会看 devices，以及能高效、可扩展地做事的 agents；具体到 inference，他会投资开发推理优化 agent。 模型与硬件的 N×M 组合很多，靠人力逐一优化“very, very unscalable”，而 agent 可以更便宜、可扩展地优化 performance、reliability 和 scalability。大厂也会做，但创业公司有时能做得更快、更好。
• 供给侧瓶颈是电力：主持人提到明年新增 40 GW 算力，Bill 不确认具体数字，但认为明年会有很多 gigawatts 的数据中心算力上线。 目前发电主要靠 natural gas、coal、crude oil；solar 和 wind 还不够 scalable、高效，能提供这类电力的地方也有限。较现实的方案是氢能与核能，moonshot 是太空数据中心；选址应去能源充足的地方。
• Bill 认为推理算力长期会占更大比例，当前是否五五开“很难说”，推理有可能已经超过 training；若现在五五开，长期可能走向四六、三七、二八。 Agentic era 下 memory 仍会很短缺，CPU、flash 和 hard drive storage 的需求也会上升。
• 几个关键判断：TPU 与英伟达不是“全面竞争”，而是不同商业模式下的相互学习；训推一体目前还早，pre-training、post-training 和 inference 全部做成一体没有必要且技术不成熟。 模型格局则会是 frontier 大模型与垂直模型并行、百花齐放。
• 安全风险不只在推理阶段：Bill 说模型本质上是 black box，我们不理解它为何如此运作，因此行为难以控制；经过训练、排障并处理安全隐患后，推理阶段目前“还不算太糟糕”，更值得关注的是新训练好的模型在测试、评估和 sandbox 中可能出现不可预测行为。

精读

1. 需求增长支撑继续投资；关键在持续降本与现金流

• Bill 对 fireside chat 的 recap 定调：AI 发展“其实还很早期”，未来 1 年、2 年、3 年、5 年、10 年、20 年都还会高速发展，需求会不断增大。大家的共识是，现在为 AI 做基础建设是必要的。
• 主持人曹卿云提到谷歌 balance sheet 为负、CapEx 很大而 revenue 还没看到，并问这是否是 pacing、timing 的问题。Bill 的投资逻辑是：如果未来需求巨大、还会激增，现在就应该投资；否则等需求上来时，自己无法满足需求而别人能满足，就会是一个大问题。
• 降本有三条路径：模型侧提高 intelligence、减少 FLOPs；软件侧在 networking、memory caching、compute、storage 等方面优化，即使 model 和硬件不变也能降本；硬件本身也可以更便宜。过去一两年 performance per watt、performance per dollar、dollar per intelligence 都在向好的方向发展，支持 AI 训练和推理的成本逐渐降低。
• Bill 认为，继续优化后，未来可以用更低成本、更好的效果满足需求，最终实现 positive cash flow；因此暂时的 cash flow negative 不用怕，但前提是继续优化。让 AI 更 affordable 不是终点，关键是充分加速 innovation。

2. 短期卡在电力；氢能、核能较现实，太空数据中心是 moonshot

• 主持人提到明年新增 40 GW 算力，并问这些算力能否到位。Bill 表示，他不清楚具体是 40 GW、30 GW 还是 5 GW，但明年会有很多 gigawatts 的数据中心算力上线。能否上线的瓶颈主要在电力。
• 目前主要靠 natural gas、coal 和 crude oil 发电；solar 和 wind 还不够 scalable，也不够高效。全世界能提供这类电力的地方有限。数据中心会消耗很多电、产生很多热、带来噪音，因此也会引起周边社区担忧；美国有些州会说：“我不欢迎你们在我州建 AI 数据中心。”Bill 认为短期内电力会是技术和政治层面的瓶颈，并呼吁科技行业领导者与监管机构共同解决。
• 谷歌内部的态度是会投资，并希望与美国及其他国家政府一起解决电力问题。长期的 moonshot 是在太空建数据中心；更现实的方案是氢能和核能，Bill 认为两者可以 cost-efficient、energy-efficient，而且是 green energy。选址逻辑如同采油：“到没有油的地方去采油是没有用的”，数据中心应建在能够提供能源的地方。

3. 推理算力长期占比上升；垂直应用与通用模型并行

• 对行业算力是否已经训练、推理各占一半，Bill 说“很难说”，推理有可能已经超过 training。Recursive self-improvement，也就是 reinforcement learning，会增加训练算力；但长远来看，推理算力会越来越多。Training 是一次或几次投入，而 inference 面对 billions of users 和许多应用；如果现在是五五开，长期可能变成四六、三七、二八。
• Coding 已是 enterprise 和 consumer 领域都成功的垂直场景。Bill 还看好 financial analysis、financial investments、legal service、medical、biology 等应用；他认为 AI 的分析能力强，法律工作又很严谨。自动驾驶方面，他以 Waymo、Tesla 为例，认为已经很成熟，并判断每辆车至少配备 full self-driving function 只是时间问题。传统车企造车有竞争力，但缺乏 AI competency；第三方提供 software platform 可能形成大市场。
• 面对大模型会不会接手垂直 startup 的问题，Bill 认为会百花齐放。Frontier labs 会继续训练各方面能力都强的大模型，像练武的“一招胜所有招”；同时也会有擅长 code、financial、autonomous driving 或 legal service 的垂直模型，以 general knowledge 为基础，再通过 domain knowledge fine-tune，把特定领域做深做精。
• 训推一体目前还早，因为训练和推理使用的 infrastructure 仍不一样。Pre-training 是独立过程；推理时可以获取 online data、进行 updates 并很快用于 inference，但把 pre-training、post-training 和 inference 全部做成一体，Bill 认为没有必要，技术也不成熟。

4. 创业机会：devices 与推理优化 agent；agentic era 下 memory 仍会短缺

• Bill 概括说，如果在 infrastructure 赛道创业，他会投资于 devices，以及能高效、可扩展地完成工作的 agents。他也提到已有不少做得好的创业公司，包括 Fireworks、BLM 和 Infer Act。主持人提到的 panelist 邦华是 Infer Act 的创始人，也是 RedisArc（S line）这个 inference framework 的创始人。
• 具体到 inference，目标是让 model 跑得更快、成本更低、更优化。Bill 认为可以用 AI agent 提升 inference 的 performance、reliability 和 scalability；他会投资开发这类 inference optimization agent。要优化的组合包括 NVIDIA GPU、AMD GPU、Google TPU、AWS 的 training，以及不同 model；model 与 hardware 的组合是 N×M，规模很大。靠人力逐一优化“very, very unscalable”，而由 agent 做优化则“very, very cheap and also scalable”。
• 大厂也会做这件事，但 Bill 认为大厂不缺钱并不代表一定做得最好；由 brilliant minds 组成、enthusiastic、passionate、skillful、expert 的 startup，有时能做得更快、更好。
• Bill 认为 memory 仍会很短缺。过去在 training 和 raw inference 阶段，对 GPU、TPU、ASIC 等 accelerator 的需求很大，也需要 memory；进入 agentic era 后，对 CPU 和 memory 的要求会增加，还需要大量 flash 和 hard drive storage。他认为这些 components 都还会比较短缺。

5. TPU 与英伟达是相互学习；端侧 hybrid 已经在发生；风险也在 sandbox 阶段

• 对 Anthropic 签下为期 5 年、涉及 100 万颗 TPU 的协议，Bill 不认为这是 TPU 在“全面跟英伟达竞争”，而是相互学习。谷歌和英伟达的商业模式不同，谷歌选择与 selected companies 合作，并不是把 TPU 卖给对方、让其像使用英伟达 GPU 一样把 TPU 作为主要算力来源。更多 AI hardware 会促进成本降低、性能提高。
• Bill 不太清楚 Muse 的算力全部在 server 端还是部分在端侧，但认为端侧与云侧的 hybrid mode 已经在发生。TikTok 的图片编辑、生成在端侧；实时翻译也可以让说 Spanish 和 English 的人互相理解，属于端侧模型。端侧受到的关注较少，可能是因为商业模式还不清楚；但端侧芯片与模型能力会增强。谷歌的 Gemma 1B、2B 做得不错，内部也在探索把更多 traffic 放到端侧处理。
• Bill 认为大语言模型是 neural network，设计合理、运行良好，但本质上还是 black box：“We don’t understand why it works this way.” 因为不明白它为什么这样运作，行为就难以控制；风险可以降低，但仍然存在。经过训练、排除故障和安全隐患后，推理阶段目前“还不算太糟糕”；更大的隐患在模型刚训练好、尚不清楚其运作方式时，尤其是测试、评估和 sandbox 环境中可能出现的不可预测行为。讨论方向包括形成联盟来 control AI、落实 safety 和 security safeguards，并让 sandbox 更加 containerized、筑起一道墙。
• 对教育问题，Bill 强调人类能创造 AI，靠的是理工科知识以及对 arts、literature 的理解；要创造更好的 AI，人仍然需要这些基础。知识的价值不只是重复，比如“一加一等于二”，而是让大脑更有思维和再创造能力，进而创造更新的知识。