先锋 趋势 方法 投研 作者
与 Google、Cisco 和 a16z 共建 AI 的现实世界基础设施
返回节目精读

与 Google、Cisco 和 a16z 共建 AI 的现实世界基础设施

摘要

  • Amin Vahdat 认为,AI 基础设施建设的规模将是“互联网时代的100倍”,而 Jeetu Patel 则称其是互联网、太空竞赛和曼哈顿计划“三者合一”。 Patel 表示,地缘政治、经济、国家安全和速度等多重要求同时到来,使这轮建设规模被严重低估。

  • Google 已有7代 TPU 投入生产,而7年前和8年前的 TPU 仍保持100%利用率。 Vahdat 表示,电力、土地改造、许可审批和供应链交付才是约束;即使承诺投入数万亿美元,买方也可能在3–5年内无法“兑现这些支票”。

  • 电力稀缺已经决定数据中心建在哪里,以及它们如何互联。 Patel 表示,企业仍处在必要的机架重构和功率密度升级早期;Cisco 已推出“scale-across”系统,让相隔一段在文字稿中被记为“8 900 km”的设施仍能作为一个逻辑数据中心运行。

  • 下一代计算栈将从芯片到软件协同设计,并将在5年内变得“面目全非”。 Vahdat 称这是“专业化的黄金时代”:对特定计算任务,TPU 每瓦效率可达到 CPU 的10–100倍,但即使是最优秀的团队,也需要2½年才能将专用架构从概念推向量产。

  • 网络正在同时成为稀缺算力的首要瓶颈和放大器。 计算与通信之间的负载可能摆动数十乃至数百兆瓦,但成本最高的网络容量可能只有5%的时间真正需要,这仍是一个尚未解决的架构与利用率问题。

  • 推理效率正在提升10倍乃至100倍,但用户会通过要求更聪明的模型和更长的自主运行来消耗这部分收益。 “每美元智能”在上升,但总成本仍可能增加;因此,prefill、decode、强化学习和推理原生基础设施会带来不同的硬件、内存、延迟和网络权衡。

  • AI 辅助工程正从演示走向此前看似经济上不可能的迁移项目。 Google 曾估算从 Bigtable 迁移到 Spanner 需要“7个员工千年”,因而放弃;Vahdat 表示,AI 后来已协助 Google 全代码库完成指令集迁移。Patel 希望 Cisco 的25,000名工程师能在1年内实现2–3倍生产力,同时警告,今天被否定的工具必须在4周内重新测试。

  • Patel 对创业者的警告是,围绕他人模型搭建的“薄包装”不会拥有持久壁垒。 他更看好与产品反馈紧密耦合的模型,以及在产品自有模型和基础模型之间动态路由;Vahdat 则预计,未来12个月真正带来变革的将是 agents,以及能提升生产力的图像和视频系统,而不只是更好的文本聊天。

精读

1. 需求增速已经超过行业部署资本的能力

  • Vahdat 的历史类比是绝对性的:“我从没见过这样的事情。我相当确定,没有人见过这样的事情。”互联网建设规模巨大;AI 将是“互联网时代的100倍”,上行空间可能相当。

  • Google 已有7代 TPU 投入生产,但7年前和8年前的设备仍保持100%利用率。客户只能接受现有产能,而许多用例因为没有空间而被拒之门外。

  • Patel 表示,企业仍处于重建数据中心、适应更高单机架功率需求的早期阶段,超大规模云厂商和 neo-cloud 则走得更快。由于任何单一地点的电力都很稀缺,数据中心正在“有电的地方”建设,而不是把电力引到既有站点。

  • Vahdat 接受行业将投入数万亿美元的预测,但怀疑行业能否迅速“兑现这些支票”。电力、土地改造、许可审批和供应链交付可能在3–5年内限制部署;硬件可以及时采购,但空间和电力资产的折旧周期为25–40年。

2. AI 正在迫使全栈重构,而不是回归大型机

  • Raghu Raghuram 的挑衅是,NVIDIA 正在让大型机卷土重来。Vahdat 反驳称,一个由16,384块 GPU 组成的池,或一个拥有9,000块芯片的 TPU pod,仍然可以动态切分——一个工作负载可能需要256块芯片,另一个可能需要100,000块——因此 scale-out 软件仍将存在。

  • Vahdat 预计,硬件到软件的整个技术栈将在5年内“面目全非”。Google 上一轮转型是将通用集群与 Bigtable、Spanner、GFS、Borg 和 Colossus 结合起来;这一轮同样需要硬件和软件协同设计。

  • Patel 将这一逻辑延伸到组织层面:覆盖“从物理学到语义”的供应商必须“像一家公司一样工作”,同时保持开放生态,而不是建成封闭花园。他指出,公司与超大规模云厂商之间需要深度设计合作,甚至在产品签约前就要开始。

  • Vahdat 称这是“专业化的黄金时代”。对特定计算任务,TPU 每瓦效率是 CPU 的10–100倍,但即使是最优秀的团队,也仍受限于从概念到量产的2½年周期。他预计,随着当前节奏放缓,专业化会进一步加深,因为节省的电力、成本和空间太过可观,不容忽视。

  • 他还表示,地理位置将塑造架构:中国的7纳米芯片可以与充足电力和工程资源结合,而其他地区可能更偏好功耗更低的2纳米设计。因此,监管框架和区域扩张可能催生不同的架构。

3. 网络必须承受极端峰值,同时避免资产闲置

  • Vahdat 表示,建筑内部的带宽正成为首要瓶颈,而网络本身的功耗相对较低:“在这里多花一点,就能在那里得到更多。”已知的通信模式还可能允许采用不需要完整通用性的设计,而不必依赖全功能 packet switch。

  • 更棘手的问题是突发性。公用事业可能看到数十乃至数百兆瓦的功率需求暂停,用于网络通信,随后又恢复到计算;大规模预训练可能只有5%的时间需要庞大网络,而最新芯片随后又可能迁移到其他站点。

  • Patel 称网络是“放大器”:每节省1千瓦的数据包传输功耗,就能把这部分电力重新分配给 GPU。他预计,行业将采用 scale-up、scale-out 和 scale-across 网络,以及推理原生基础设施,而不是简单把训练系统改作推理用途。

  • Cisco 已推出用于 scale-across 网络的 silicon、芯片和系统,使两座相隔一段在文字稿中被记为“8 900 km”的数据中心可以作为一个逻辑数据中心运行。这一设计反映了电力稀缺所造成的设施分散。

  • 他的竞争警告异常直接:如果系统只是围绕 Broadcom 搭建的包装,“那你面对的就是一个将极具掠夺性的垄断”。Cisco 的战略依据,是在高消耗规模下拥有芯片选择和供应多样性。

4. AI 编程收益真实存在,但采用需要持续复测

  • Google 曾计算,从 Bigtable 迁移到 Spanner 将消耗“7个员工千年”;机会成本最终导向了“Bigtable 万岁”的结论。如今,Vahdat 指出,AI 已协助 Google 全代码库完成从 x86 到 ARM 的指令集迁移,使其不受未来 RISC-V 等架构限制。

  • 他还表示,Google 内部已在 AI 协助下完成 TensorFlow 到 JAX 等迁移,速度提升了多个数量级,同时承认仍有部分任务超出这些工具的能力范围。

  • Patel 表示,使用 Codex Cloud、Cursor 和部分 Windsurf 进行代码迁移,尤其是通过 CLI 调试,以及从零构建前端,都取得了很好的结果。老代码更难处理,尤其是基础设施栈更底层的部分。

  • Patel 表示,挑战更多是文化重置,而非技术问题。他要求150名杰出工程师假设工具会在6个月内显著变强,并在4周内重新审视失败案例,而不是搁置6–9个月。他希望 Cisco 的25,000名工程师能在1年内实现2–3倍生产力。

  • 销售准备、法律合同审查和产品营销也取得了不错的结果。Patel 表示,第一版基于 ChatGPT 的竞品分析草稿,通常已经优于从一张白纸开始。

5. 持久产品将把模型、反馈和路由绑定在一起

  • 在被要求不要只预测模型会变好时,Vahdat 表示,模型和 agent 框架已经“好得令人害怕”。让工作“长时间保持相当正确”的能力,可能在未来12个月带来变革。

  • Patel 给创始人的建议是:不要“围绕属于别人的模型搭建薄包装”。持久产品会让模型与产品紧密耦合,通过产品反馈持续改进模型,同时让基础模型承担其他任务,并在不同模型之间动态路由。

  • Patel 还表示,Cisco 在被视为传统公司或过气公司后,正在重新获得势头。他承诺将在 silicon、网络、安全、可观测性、数据平台和应用层持续创新,并邀请创业公司合作。

  • Vahdat 预计,图像和视频将重复文本模型从新奇玩具走向实用工具的路径:2½至3年前,文本模型还只能用来写有趣的俳句;下一阶段,图像和视频模型应成为生产力、教育和学习工具,而不再只是制造新奇内容。