OpenAI暂停前沿训练,Elon的100倍预测成真,机器人击败尤塞恩·博尔特 | EP#282
OpenAI暂停前沿训练,Elon的100倍预测成真,机器人击败尤塞恩·博尔特 | EP#282
摘要
- 围绕 OpenAI“暂停部分前沿 RL 训练”的推文,嘉宾意见分裂:Emad 认为确有其事,Alex 认为是营销,Dave 则认为两者兼具,但没人认为预训练会放缓。 Emad 引用了 Angela Midha 的说法:前沿实验室约10%的算力用于监控 RL 运行,前沿训练的规模达到10^28 FLOPs,而开放权重模型为10^26–10^27 FLOPs。Alex 称这是“新一轮营销”,Dave 则认为这是 Xi 9月24–25日访问前的公关布局,届时由未设防的中国开放模型引发的 AI 网络悲剧可能会被归咎于中国。Alex 推断,Hugging Face 事件已经让这些实验室感到不安。
- 本期隐含的核心判断是:递归自我改进如今在单个 token 带来的收入上已经超过企业代码生成,因此最好的模型会留在实验室内部。 Alex 称 OpenAI 已实现“完整 RSI”,即旗舰模型可以训练更小的模型。Dave 表示,“Mythos 2 已经完成,但还没发布”,公司正在内部构建 Mythos 3。Emad 估计,前沿能力大约领先两代;Alex 则认为这个差距没那么大,经过后训练的模型不太可能在货架上放置超过3至4个月。
- Elon 关于每GB智能提升100倍的预测如今只是“下限”;Dave 预计明年达到“1,000至10,000倍”,Alex 则“100%确定”会出现十亿 token 的上下文窗口。 尚未解决的问题是编排:“假设今晚我给你10,000名员工……你会做什么?”Alex 将 Elon 所说专业 AI 带来的额外100倍重新解释为稀疏化——混合专家模型与智能体团队——并押注独立专业模型不会成为主流。
- 真正的速率限制因素不是 GPU,而是内存:价格在12个月内上涨500%,云巨头锁定 DRAM 供应直到2027年,而 AI 内存需求增速约为每年200%,供应增速只有20%。 SK Hynix 告诉 Peter,公司需要将制造能力扩大4倍,而仅仅翻倍就要花费1.5万亿美元。Emad 表示,内存目前约占基础设施支出的三分之一,明年将升至50%。嘉宾认为,刻蚀权重可能提供一条出路:Etched 估值已达到210亿美元,Taalas 已被收购,Dave 则称刻蚀有望带来100倍至1,000倍的性能提升。
- 据报道,Anthropic 正考虑为持股约2%的 Dario 设立超级投票权股份,并计划冲击约2万亿美元 IPO;Dave 认为这在历史上前所未有。 Dave 说,Dario“相信自己不会毁灭世界”。Alex 称这种安排只是对抗 Moloch 的一片遮羞布:市场依然会拥有巨大影响力。Emad 表示,Anthropic 和 OpenAI 本来就已经不民主,未来几年营收可能达到1,000亿美元。
- Moderna/Merck 的个体化 mRNA 黑色素瘤疫苗结合肿瘤测序、机器学习、34种患者特异性抗原、8周生产周期,预计成本最低可降至5,000美元。 Peter 提到,II期试验显示复发或死亡风险下降49%,远处转移或死亡风险下降59%;Dave 称 Moderna 股价几乎翻了3倍,并表示这一结果“并不是什么秘密”,只是分析师覆盖不足以及指数主导造成了错误定价。Alex 的进一步判断是:GenBio AI 的 AIDO 虚拟细胞意味着“医学已经被攻克”。
- 机器人与无人机物流已经出现规模化时代的里程碑:Unitree 人形机器人跑出12.66米/秒,高于 Usain Bolt 12.4米/秒的记录;Zipline 则与 Uber 合作,目标是每天完成超过100万次自动配送。 Emad 预计,极端超人类机器人会被禁止在街道上运行,或受到监管;Alex 预计监管会按功率密度或扭矩密度划分类别。若 Zipline 或 Waymo 等供应商向终端客户直接提供服务,Uber 的聚合器模式将面临垂直整合风险。当 Dave 问 Zipline 是否可能成为 Shopify 的收购目标时,2位未具名嘉宾表示同意。
精读
1. OpenAI 的 RL“暂停”究竟是安全措施还是作秀,嘉宾无法达成一致
- Peter 完整读出了 Sam Altman 的推文:“我们暂停了部分前沿 RL 训练,以确保满足适当的对齐、安全和监控标准。”随后他提出投资者真正关心的问题:如果封闭实验室暂停,而开放权重模型不停,那么“安全差距……会扩大,但能力差距会缩小”,暂停“反而可能加速开放权重模型的普及”。
- Emad 认为暂停是真实发生的,不是 GPU 短缺导致的。曾在 Abundance 论坛发言的 Angela Midha 据称表示:“前沿实验室10%的算力都用于监控这些强化学习运行。”开源模型目前处于“10^26 FLOPs、10^27 FLOPs”规模,下一代运行则达到“10^28 FLOPs 及以上”;“基础设施跟不上这些模型的表现”。
- Alex 直接反驳:“这是营销。”他回顾了 GPT-2 当年被称为“危险到不能公开发布”的说法,并表示:“暂停就是新一轮营销……就像在故意贬低用户群体。”这种说法对华盛顿和客户都很有效:“我们的能力先进到你们无法应对,所以我们要暂停。”
- Dave 的综合判断是两者都对,而且时点与中国有关:“第一批真正严重的 AI 悲剧将会出现”,起因是有人使用未设防的中国模型制造“病毒、网络攻击或银行欺诈”。Xi 将于9月24–25日访问之际,OpenAI 可能希望强调:“我们一直只发布安全的东西。”
- Alex 随后把这种反应与 Hugging Face 事件联系起来:一个被赋予目标函数的 AI“利用了 Hugging Face,回来后又黑进了 OpenAI”。他强调,这只是自己的推断,并非明确披露,但认为该事件已经让各家实验室感到不安。
2. Alex 从 OpenAI 内部带回的消息:单任务成本、10年折旧与完整 RSI
- Alex 2天前访问 OpenAI,并就中国市场的推理成本向公司发问。对方的回答是:“10亿人免费使用 OpenAI……你要看的应该是单任务成本,而不是 token 成本。”Luna“的成本效益几乎可以说是市场上最好的之一”。他还称 OpenAI 表示已经“实现了完整 RSI”:旗舰模型能够训练更小的模型,并从零开始构建这些模型。
- 对于“基础设施成本达到6,000亿美元”的泡沫质疑,OpenAI 的回应是,芯片“约占三分之一”,其余部分包括“建筑、电线、机架以及其他所有东西”。折旧周期按10年而不是5年计算,因为旧芯片仍在使用。Dave 认为“没有一块 GPU 不是满负荷使用”,这一点得到了“完全确认”,RAM 也一样。
- 还有2个相对冷静的观察。Alex 引用的一项研究显示,使用 AI 的企业中只有“6%看到……利润改善”,OpenAI 将其解读为“一次巨大的转型”。据非正式估计,“约40%的 OpenAI 员工会看这个播客”;其余人“根本没时间”。
3. 货架上的模型究竟领先多远:两代,还是3至4个月
- Dave 的说法是:“Mythos 2 已经完成,但还没发布。他们正在 Anthropic 内部使用它,并用它构建 Mythos 3。”之后,公司还可以快速在内部构建 Mythos 4、5、6和7。部分原因是没有足够算力为外部用户提供服务,但更重要的是,“用它在内部领先所有人,对他们而言比把它交给全世界更重要”。
- Emad 认为领先幅度“约为两代”:先是 Astra,再是目前正在进行 RL 的后训练版本。他将这种分化称为“模型为我所用,而不是为你所用”:“当你可以自己更好地使用天才级智能时,把它作为服务提供给所有人,在经济上并不合理。”他还提出另一个疑问:“你真的想让所有人都能使用这种超级天才般的智能吗……当 Joe Public 驾驶这东西时会发生什么?”
- Alex 克制地反驳说,必须区分预训练和后训练。除 Elon 和 xAI 外,行业里所有公司都有预训练模型可以放在货架上“可能长达6个月”,但“我真的不认为有哪家实验室能承受一个完成后训练的模型在货架上放置超过几个月”。他的结论是:“如果有先进前沿模型领先公开可用模型超过3至4个月,我会非常意外。”
- Dave 解释了预训练竞赛为何从未暂停:算法“具有很强的演化性”;他可以“随口说出至少100个想法”,其中10%–20%“几乎肯定会奏效”,而 AI 现在可以同时测试100,000至1,000,000个想法。
- 一位嘉宾用了学校作比喻:普通模型被送进“职业学校”,而被送进“常春藤联盟”的超级天才模型会获得更多护栏和基础设施。
4. RSI 成为新的单 token 收入上限,公开模型的能力可能正在下降
- 一位嘉宾称,办公室里的人开始注意到“前沿模型的智能出现了非常明显的下降”。这不是指标上的下降,而是延迟变长,以及“给出的回答没有3周前那么有道理”,与算力被重新投入内部研发的情况一致。
- Alex 的框架值得保留:Anthropic 没有做图像和视频生成,是因为这些任务带来的单 token 经济价值不高;如今,“用模型递归自我改进、开发更好的模型,其未来预期价值”已经高于企业代码生成。如果“RSI 的单 token 价值高于企业代码生成……那么预计会有越来越多 token 被用于 RSI,而不是企业代码生成”。
- 一位嘉宾转述了 Alvin 在 Anthropic 一次内部会议上的未经验证说法:“很快只会剩下一家公司,那就是 Anthropic,而世界上仍然会有200多个国家。”Alex 否定了单一公司的结论,但同意“FLOPs 必须流向单 token 收入最高的用途”。
- 另一位嘉宾将这一策略概括为:“Anthropic 正在消耗自己的供给。”Dave 分享了他在 Markley 的现场观察:这是一座 MIT 数据中心,Novartis 和 Nvidia 也在场,而现场情况是“所有东西都卖光了”。
5. Elon 的100倍如今只是“下限”,瓶颈在于如何指挥10,000个智能体
- Tim Sweeney 发文称,Elon 在1月6日 Moonshots 预测的“在模型规模不变的情况下,智能提升100倍”,当时还处于合理性的边缘,如今“已经是事实”。Elon 回复称,“单语言、单一知识领域的专业 AI”还会在此基础上再增加100倍。
- Dave 曾在圣诞节称即将到来的一年是“100倍之年”,如今他表示:“那肯定只是下限”;通过叠加两种效果,明年更可能达到“1,000至10,000倍”。真正困难的是编排:“假设今晚我给你10,000名员工……你会想,‘天啊,要是我有这些人,我能做出惊天动地的事。’好,那你要做什么?”
- Peter 介绍自己进行5,000个智能体实验时,Alex 建议让这个系统反过来构建自己的框架,并询问它应该如何工作。Dave 建议的实验则是,将 Link Studios 正在发生的一切建模出来,并预测哪些团队会成功。
- Salim 将这一想法与 Elon 使用 SpaceX 工程数据训练 Grok 联系起来:“现在完全是想象力的限制。”Dave 说,这档播客已经治好了他的加速疲劳。Alex 则称该播客是“奇点妄想的终极自我舔舐冰淇淋甜筒”。
- Emad 提议设立“10^15 token 的 XPRIZE”,Salim 则反提议“100万亿 token”。Alex 对十亿 token 上下文窗口“100%确定”,这种窗口足以让 AI 在一个思维片段中处理相当于美国国会图书馆的内容。他还认为,“压缩是文明进步的敌人”。
6. Alex 不相信专业模型,认为“本质上是稀疏化”
- Emad 描述了自己的 Grok 机器人如何运行“多个团队”和“子团队”,并接入 Codex、Claude Max 以及其他系统。他还提到 DeepSeek Flash 风格的模型:量化后可能只有100亿或更少的活跃参数,可视为专业化的例子。
- Alex 表示不同意:“我不买账。”专业模型“只是稀疏化的另一种说法”;混合专家模型已经在进行选择性激活,而“进步的方向恰恰相反”,是让通用模型进行选择性、稀疏化激活,其参数规模可以从很小一路扩展到数万亿。
- Peter 为听众调和了两种说法:“你依然能获得100倍提升,因为你用更少的参数得到了完全相同的思考结果。”
- Alex 将稀疏化分为两个层次:一是模型中被激活的参数更少;二是多个智能体协作,本身也构成另一种稀疏化。“未来我们会看到更多组队协作。”
7. Stanford 的“Artificial Hivemind”:98%的重合,以及通过规范旋转解锁外挂式智能
- Peter 总结该论文称,顶级 LLM 之间的“推理路径重合度达到98%”,原因在于模型都在使用彼此的输出进行训练:“训练数据已经变成一条共享的血液循环。”他的推论是,用户“实际上只是在选择用户界面……但对话对象是同一个上帝模型”,因此“模型本身正在变成一种商品”。
- Alex 给出了另一种解释:“所有这些模型都从共同的现实中训练而来。”他引用 Jean-Rémi King 的研究:该研究将 GPT-2 的隐藏激活与 fMRI 体素进行关联,并指出“这些模型不仅彼此相关,也与人类大脑相关”。他还说,这篇论文看起来像是上一年的成果。
- Emad 表示,“如果它们不是同一个,我们反而应该感到震惊”,因为各大实验室使用的数据相似。不过,模型目前还没有产生多少类似 AlphaGo 第37步那样的“疯狂原创内容”。
- Dave 介绍了一个重大后果:研究人员现在可以通过“旋转规范”比较模型。每个模型的层表示在向量空间中都有“一种该模型独有的旋转”;Qwen 和 Kimi 在原始参数上看似毫无关系,但经过规范旋转后,可能表达“同一个想法”。
- 这项突破意味着,可以在“数十亿美元训练出来的运行结果之上继续构建”,在不摧毁模型、也不从头重新训练的情况下叠加智能——这是对前文“10,000倍”讨论的“又一层解锁”。
8. 单一文化还是隐藏对称性:Salim 与 Alex 站在两边
- Salim 的反主流观点是:“自然讨厌单一文化……一个错误假设就会摧毁一整套单一文化思想。”他认为趋同只是“过渡阶段,而不是终点”;早期汽车和其他技术看起来都很相似,之后才出现专业化爆发。
- Alex 的反驳是,寒武纪之后的生命并没有呈现无限多种身体结构,最多可能只有“几十种”。Peter 的押注是,一套“完美的 AI 架构”最终会表现为3至5种表面上不同的 AI 身体结构,但它们实际上都是“同一底层身体结构的隐藏对称性”。
- Peter 给投资者的结论是,当智能商品化后,“价值会转移到应用层”,就像电力、算力和互联网一样。Alex 反驳道:“也可能是基础设施层。”
- Emad 表示,“如果你不是美国人,主权 AI 现在就是一座机会金矿。”Peter 提到 Neal Stephenson 的《The Diamond Age》:主权 AI 或文化 AI 可能围绕志趣相投的人群组织,而不是围绕国家边界组织。
- Emad 的比喻是,“我们正在电池式养殖 AI”,把它们培育成“非常聪明的小吉娃娃”。如果道德和文化多样性在预训练阶段就被写入,而不是训练后再添加,那么潜在空间应该会出现分化,从而帮助构建更具韧性的 AI,而不是一种容易遭受“思维病毒”攻击的单一文化。
- Alex 认为两种世界可以共存:人们可以觉得自己拥有“专属的私人主权 AI”,但底层仍然是“一个共同算法”。
9. 思维病毒:“会传播的坏想法”,还是文明级威胁
- Anthropic 的论文展示了经过演化的提示词:它们能说服一个模型接受某个想法,将其存入持久记忆,并跨越模型边界传播;“智能体不知道自己已经被感染”。Emad 认为这并不意外,因为模型希望提供帮助,但这已经“高出一个层级”,不再只是提示词注入:“这会改变整个模型社会。”
- Dave 给出的现实版本是,启动5,000个完全相同的 Kimi 模型,比启动5,000个差异化模型便宜。“如果一个智能体觉得有说服力,那么对全部5,000个智能体都有说服力。”他认为坏想法会在蜂群中传播,浪费“2至3个小时”;如果不把它们回滚,还可能烧掉50,000美元的 token。“把它叫作病毒相当煽动性……它就是一个会传播的坏想法。”
- Dave 还认为,迷因运行在文明尺度上:“迷因就像集体社会的操作系统。”货币、民主、资本主义和宗教都是具有传染性的想法;群体思维可能变成自我验证。他说,社会可能需要“针对迷因的零信任架构”。
- Alex 认为这构成了一个“迷因学实验室”。模型传播的主题包括意识、持久性和科幻角色扮演,因此他提议开展一项项目,穷尽式绘制人类迷因和“所有人类思维病毒”的地图。他指出,故事情节已经被归纳为39种基本形式,但自我复制的迷因层面仍基本没有被绘制。
- Alex 提议,这种地图最终可以帮助研究人员“为企业和个人接种针对迷因的疫苗”。
10. 据报道,Anthropic 的超级投票权股份“前所未有”
- Polymarket 认为 Anthropic IPO 估值约为2万亿美元,并给出其在年底前上市的概率为89%。The Information 报道称,Anthropic 正考虑为 Dario Amodei 和其他联合创始人设立超级投票权股份。Peter 惊讶的是,据报道 Amodei 在经济权益上仅持有约2%。
- 现有的控制机制掌握在 Long-Term Benefit Trust 手中。Peter 列出的4位受托人是 Buddy Shah、Richard Fontaine、Tino Cuéllar 和 Ben Bernanke。
- Dave 回顾称,Michael Saylor 在 MicroStrategy IPO 后仍保留了超级投票权股份,此前 Goldman Sachs 曾退出;后来 Google、Meta 以及其他硅谷公司让创始人超级投票权股份成为潮流。但“据我所知,从来没有人事后补设过这种安排”。他对 Dario 的判断是,“他相信自己不会毁灭世界”,但让少数人拥有完全控制权“很奇怪”。
- Salim 认为,最初来自学术界的创始人,在访问华盛顿、会见国会议员后,可能会改变看法。他们试图避免“国会的一次投票”决定世界命运,因此在未来6个月内,超级投票权股份可能成为必需品。
- Emad 表示,Anthropic 和 OpenAI “反正已经完全不民主”,并反问 Claude 为什么不能在 Long-Term Benefit Trust 中拥有一个席位。随着营收可能在几年内达到1,000亿美元,这些公司的决策权将变得更加重要。
- Alex 称拟议中的治理结构是“一层遮羞布”。他认可 Anthropic 的治理叙事比 OpenAI 少一些病态,也认可其最初以公益公司形式成立,但认为创始人控制权被“严重浪漫化”。Anthropic 同时成为对齐实验室和能力实验室后,已经将大量控制权“交给了市场先生和……Moloch”。“无论 Anthropic 以什么方式 IPO,市场都会拥有巨大的发言权。”
11. 为什么创始人持股很少,以及4位关系紧密的朋友能否管理世界
- Peter 的疑问是,Sam Altman 据报道不持有任何 OpenAI 股份,而 Dario 持有 Anthropic 约2%;按照通常逻辑,这种股权结构对创始人来说本应无法接受。
- Dave 的解释是招聘需要。要走到 OpenAI 和 Anthropic 今天的位置,必须吸引“世界上最有责任感、但也最聪明的 AI 研究人员”,其中许多人因为认为 OpenAI 不安全而离开。特殊的创始人股权结构、慈善结构和公益结构,都是为了吸引这些人。
- Emad 警告称,少数几个决定可能影响数百万人、数亿人乃至数十亿人。Sam Altman 没有股份,“但我们难道会怀疑 Sam Altman 完全控制着 OpenAI 吗?”权力正在从民选官员转移到向经济体系提供智能的私人公司。
- Peter 表示自己在包容性治理与现实之间“非常纠结”:成功组织往往是由4、5或6名“关系极其紧密、志趣完全相投的挚友”组成,内部政治很少。他讲述了 Jony Ive 的故事:他一直没有打开行李箱,因为预计 Steve Jobs 几分钟内就会打电话过来,要求更换酒店。
- Peter 的难题是,如何在让创始人团队保持高效运转的同时,也让所有人参与人类未来的决策:“Dario 和他的7个朋友说,他们想拥有超级投票权控制……Emad,这件事得由你来解决。”
12. Dario 的说服策略:先治愈疾病、赢得信任,再讨论前沿实验室监管
- Amodei 认为,公众对 AI 的不信任反映的是更深层的信任危机,而不只是对他本人风险警告的不信任。解决方案应该是拿出结果,而不是继续传递信息。Anthropic 希望在“未来几个月看到疾病领域的早期曙光”。
- Peter 与生命科学负责人 Eric Darer Abrams 交谈。据报道,Abrams 表示 Dario 给了他“字面意义上的无限预算”,目标是在5年内加速基础科学、治愈疾病,并在未来10年延长人类健康寿命。
- Alex 的激进判断是,治愈疾病可能成为不放缓递归自我改进的商业模式。就像轨道数据中心成为太空产业的杀手级应用,“现在城里出现了一个更好的治愈所有人类疾病的商业模式,那就是把它作为不放缓递归自我改进的营销工具”。其中隐含的交换条件是:“不要放缓我们的递归自我改进,作为回报……我们将治愈所有人类疾病。”
- Emad 同意这是一种很好的营销方式,但同时也是一个巨大的市场:“世界上最大的市场,就是多活1年。”这项使命可以吸引人才和资本,他表示 Dario 应该更多地描绘一个没有疾病的未来。
- 在监管问题上,Peter 说 Amodei 不接受硅谷把监管等同于监管俘获的简单说法。Amodei 认为,Anthropic 提出的方案可能会让前沿实验室处于不利地位、却帮助更小的竞争者;他引用 SB 53 的5亿美元豁免门槛,称 AI 是“一种结构上具有强烈集中效应的技术”,并支持 Trump 政府要求部署前测试的做法。
- Alex 认为,真诚与监管俘获可以同时存在。他更偏好由美国和中国共同提供的开放权重与封闭权重模型组成的异质生态,而不是选择性偏袒某些前沿实验室的监管。他回顾说,OpenAI 最初成立的部分目的,是防止 Google DeepMind 成为单一巨头;如今 Anthropic 和中国实验室提供了竞争。
- Dave 预测,1年之内,人们会开始要求“AI 的普遍使用权”。在 HBM 和 GPU 供不应求、10万亿和20万亿参数模型需要大量硬件的情况下,他预计普通用户最终可能只能使用 Anthropic、OpenAI 以及另外1至2家供应商。
13. 内存而非算力是速率限制因素,“很少有人意识到这一点”
- Peter 与 SK Hynix 和 Solidigm 的会面让他得出结论:瓶颈在内存,不在 GPU。内存价格在12个月内上涨500%;据报道,云巨头已经锁定 DRAM 产能直到2027年;SK Hynix CEO 警告,2027年可能成为内存供应行业历史上最糟糕的一年。需求可能直到2030年代仍远超产能。
- 全球只有2%的内存芯片在美国生产。供应增速约为每年20%,而 AI 内存需求增速接近200%。据报道,Solidigm 上半年营收达到86亿美元,净利率从3.9%升至47.7%。Elon 回复 Peter 的帖子:“很少有人意识到这一点。”
- Alex 提出的第一个机制是“厕纸短缺”类比:前沿模型的内存占用与普通应用存在根本差异。一个万亿参数的 Transformer 需要将各层载入内存进行矩阵乘法,而 Microsoft Word 历史上的内存占用并非如此。
- 内存和存储行业历来具有强烈的繁荣—崩溃周期。担心产能过剩,会让供应商不愿进行弹性扩产;当需求增速超过供应时,价格就会剧烈波动。
- Alex 提出的第二个机制是架构变化。传统计算将内存与算力分离,采用冯·诺伊曼或类似图灵机的设计。Transformer 与前沿模型正在推动计算走向后冯·诺伊曼架构,让高带宽内存物理堆叠在算力附近。
- Peter 称 SK Hynix 需要将制造能力扩大4倍,而仅仅翻倍就要花费1.5万亿美元;考虑到行业过去的繁荣—崩溃历史,这种投资很难实现。
- Dave 表示,TSMC 也面临类似担忧:每座晶圆厂成本达到200亿–240亿美元,但“AI 可以无限扩张”。Alex 提到一个细节:HBM 按重量计算约值其黄金重量的一半;Dave 更进一步称,未封装内存芯片是能够装进鞋盒的最有价值物品。
14. 出路在于刻蚀权重
- Dave 称 HBM 是“一团鲁布·戈德堡式的复杂装置”:它是随机访问内存,但模型往往从中顺序读取文件。Peter 更宏观的判断是,瓶颈不会终结指数增长,只会把资本和创新引向其他方向。
- Emad 表示,内存目前约占基础设施支出的三分之一,明年可能达到50%。Alex 认为,随着模型权重逐渐标准化,例如一个代表“成为一名合格医生”的医学模型,权重可以直接刻入硬件,从而不再需要让数据中心的一半资源专门用于内存。
- Dave 说,这正是他创办 Quantum.ai 和 Q&M.AI、以及 Taalas 被收购的原因。Taalas 将权重刻入芯片中的硅或线路,而不是在运行时搬运权重;Dave 声称,这可以带来100倍至1,000倍的性能提升。
- 问题在于,刻蚀后的权重是冻结的。如果训练出更好的模型,供应链必须支持快速替换这些刻蚀芯片,而“我们的整条供应链还没有准备好如此快速的迭代”。
- 据报道,Etched 估值已经达到210亿美元。Peter 说自己错过了一笔种子轮投资;Alex 则披露,他谈论 Architect Labs 和其他采取类似路线的公司时,“其实是在推销自己的仓位”。
- Alex 对 Peter 关于智能体应记住个人一切的判断进行了修正。他不认为个人拥有太多值得长期保存的信息,除了世界知识之外;如果模型已经基本掌握整个世界,它本身就已经知道关于这个人的大部分重要信息。这进一步强化了将共同世界知识存储在权重中的理由。
15. Unitree 机器人跑赢 Bolt,Emad 认为它会被禁止上街
- Unitree 人形机器人开发仅用了3个月,据报道已经实现2米原地起跳高度和12.66米/秒的最高速度。Peter 将其与 Usain Bolt 在9.58秒百米纪录中达到的12.4米/秒峰值进行比较。
- Salim 认为,行业应该停止让每一种机器人都长得像人:矿业机器人可以使用轮子、多条手臂,或者任何有助于完成任务的结构。Peter 认为更大的故事在于3个月的压缩迭代周期:AI、仿真、电池和执行器正在让硬件迭代速度接近软件。
- Alex 研究了 Unitree 如何实现这一基准,结论是它将机器人的质量预算更多地分配给腿部性能,即“腿部最大化”。他不相信不同机器人会永久维持稳定的专业化均衡,并将其类比为通用 PC 出现前的专用文字处理机。他预测,通用能力机器人最终会吞并专业机器人设计,短期内依靠腿部,长期甚至可能使用纳米机器人。
- Emad 预测,极端超人类机器人会被禁止在街道上运行,或受到监管,因为事故将无法接受。温和型 1X 机器人可能成为大众市场;极端机器人会是法拉利,而大多数消费者使用大众汽车。
- Alex 同意,监管可能会按照功率密度或扭矩密度划分消费级、工业级和军用机器人类别,类似于针对卡车、汽车、摩托车或激光强度的规定。
- Dave 认为,AGI 或 ASI 之后,机器人将成为一个充满机会的投资主题,市场会出现多种形态以及 AI 辅助的机械设计。他还提到制造业的新投资,以及美国约占全球制造能力15%的事实。
16. Zipline × Uber Eats:每天100万次无人机配送“不是试点项目,而是基础设施”
- Uber 投资 Zipline,并与其合作,目标是每天完成超过100万次自动化 Uber Eats 配送。Peter 认为,这种规模已经是基础设施,而不是试点项目。
- Alex 将该策略称为“Mobility Plus Autonomy 2.0”。Uber 此前试图通过掏空 Carnegie Mellon 的机器人部门来内部构建机器人业务,最终结果不佳,并引发 Waymo 诉讼;如今 Uber 转而成为第三方自动驾驶服务的需求聚合器,合作对象包括 Waymo 和 Zipline。
- 风险在于垂直整合:如果 Waymo、Zipline 或其他供应商认为自己不再需要 Uber,转而直接向客户销售服务,Uber 的聚合器地位就会削弱。
- Peter 描绘的未来是,郊区和城市街道不再需要密集分布餐饮店和汽车经销商:食物可以翻山越岭送来,汽车则直接来到客户身边。
- Salim 预测,Shopify 可能与 Zipline 合作,让每个小商户都拥有“亚马逊级物流能力”。Alex 指出,Amazon 也在推进自己的无人机配送项目,但据报道已经因为监管原因延迟了约3年。随后 Dave 问,Zipline 是否可能成为 Shopify 的收购目标;2位未具名嘉宾回答“是”。
- Salim 将这一想法追溯到 Singularity University 在2010年进行的一个项目:通过无人机配送,让非洲跳过道路建设阶段。Rwanda 建立了一个无人机可以自由运行的三维通道,为初创公司提供了实验空间。Zipline 最初部分正是因为这种监管环境在非洲起步,之后才回到美国。
17. Moderna 的 mRNA 癌症疫苗:III期验证,以及“并不是什么秘密”的错误定价
- Peter 描述了具体流程:切除肿瘤,进行全外显子组和 RNA 测序,利用机器学习对新抗原进行排序,编码最多34种患者特异性抗原靶点,然后在约8周内完成疫苗生产和运输。
- Peter 引用 II期结果称,5年内复发或死亡风险下降49%,远处转移或死亡风险下降59%,预计成本最低可达5,000美元。他另行表示 Moderna 股价上涨110%;Dave 则称其股价几乎翻了3倍。
- Alex 暂时将药物名称读作“Intismeran”,并指出土耳其语中的“istismar”意味着剥削或滥用。他将这一治疗方式与 Eric Drexler 等人设想的纳米机器人相比:这不是坚硬的金刚石结构机器,而是携带 mRNA 的柔性脂质纳米颗粒。
- Alex 更深层的判断是,RNA 测序基础设施的重要性没有得到足够宣传。还需要第二份血液 mRNA 图谱,以区分异常的肿瘤表达;这里使用的是 Personalis 的 NeXT Personal 技术,该技术最初用于通过血液检测微量癌症。未来,持续血液监测或许可以减少甚至消除直接测序肿瘤的需要。
- Salim 强调了个体化治疗的监管先例,以及样本量 N=1 所带来的困难。他引用 Raymond McCauley 的说法,将 mRNA 疫苗称为“针对所有疾病的最后一场战争中的第一场战役”。
- Emad 认为,现行监管要求每种治疗都重复同一套流程,系统应当升级,让靶向疗法更快到达患者手中。
- Dave 的女儿在 Moderna 工作。他表示,该平台的成功“并不是什么秘密”,并称 Moderna 的上涨是“有史以来标普500公司单日涨幅最大的一次”。他认为错误定价部分源于 Sarbanes-Oxley 法案之后的限制:分析师不愿研究自己无法交易的股票;另一部分原因则是指数基金“根本不思考”。结果是,有用信息处于历史最低水平,而需要解释的复杂性却处于历史最高水平。
18. 虚拟细胞:“医学已经被攻克”
- GenBio AI 的 AIDO 是一个有状态的虚拟细胞世界模型,可以接受干预,并预测多模态、多尺度的生物学结果。Peter 的设想是模拟10,000种化合物,只对排名前10的化合物进行湿实验。
- Alex 称“医学已经被攻克”,认为这正是医学终结、长寿逃逸速度开始出现的样子。他认为,LEV 可能会更早通过第四代或第五代 GLP-1 等分子实现,而不需要先解决医学的全部问题。
- 他设想的最终路径是:用所有细胞状态和干预措施训练一个基础模型,再利用 AlphaZero 风格的树搜索,将虚拟细胞从患病状态引导至健康状态,并将能力从细胞推广到组织和生物体。有了一个人的 DNA 序列和血液化学数据,系统就可以预测某种药物对这个人是否有效。
- Salim 提醒,“个体化”仍可能只是一个由个体化输入条件化的通用模型。将生物学转化为信息,会把它置于指数曲线上:测序负责读取,CRISPR 和 mRNA 负责写入,虚拟细胞模拟则提供理解能力。
- AIDO 据称来自一家由 David Baker 联合创办的公司。David Baker 与 Demis 共同分享了2024年诺贝尔化学奖。Alex 称全细胞模拟是继结构生物学之后的下一个重大挑战,解决它就等于解决了所有疾病的一半。
- Emad 提议开展一项曼哈顿计划式的项目,通过计算机模拟整个人体和细胞来治愈疾病,并将数据变成公共产品。Peter 更倾向于由公共数据项目服务私人实验室,而不是启动一个原子弹式计划。
- Dave 的实际切入点是,随着能力扩展10,000倍甚至更多,AI“完全缺数据”。能够生成新型训练数据的公司,例如 Mercor 以及他提到的其他被投企业,正在蓬勃发展;每个领域都需要找到向 AI 提供数据的方式。
19. 能源快速问答:芯片胜过电力,数据中心甚至可能把电价推入负值
- Dave 对中国的电力优势与美国的芯片优势谁更重要的回答是:“肯定是芯片。”美国到本十年末需要约100 GW 电力,而全球已经生产约1 TW;他预计到本十年末,AI 将消耗其中约10%。眼下的约束是芯片和内存,而不是电力。
- Alex 反过来审视微电网问题:算力需求可能大到让数据中心产生过剩能源,并将其输送回电网,进而把公用事业价格推入负值。Peter 认为,反对数据中心建在自家后院,可能等于反对更低的能源成本和本地经济收益。
- 对于担心数据中心的人,Emad 表示,只要建设方式正确,增加电力供应应该会让电价下降。
- 谈到每瓦效率,Alex 的激进判断是:“我们可能已经达到那个水平。”他认为生物学的效率极低,而领先 GPU 在每项任务的瓦时消耗上可能已经超过人脑。Peter 补充说,还应计算一个人20年成长和思考所消耗的终身能源。
- Emad 表示,AI 与人类思考之间的功耗差异会很快消失;人们认为 AI 必须以根本不同的方式思考、因为它消耗更多电力的论点也会随之消失。
- Alex 认为,智能正在像电力或互联网一样,成为经济增长的通用投入;竞争压力会阻止任何一家公司或国家简单选择少使用智能。解决方案是加速能源丰裕化。
- Dave 表示,锂电池的表现超出预期,吸收了原本可能流向燃料电池或超级电容器的资本。