先锋 趋势 方法 投研 作者
将算力推向物理学极限
返回节目精读

将算力推向物理学极限

摘要

  • Verdon 的核心判断是,AI 的概率型工作负载运行在为压制噪声而消耗能量的确定性硬件上,最后又由软件把随机性加了回来。 Extropic 的混合信号芯片则利用电子的随机动力学,加速离散变量和连续变量上的马尔可夫链蒙特卡洛。其主张是“放松对电子的控制”(“loosen our grip on electrons”),把熵从负担变成计算资源。

  • 规模化的逻辑是物理性的:功耗越低,需要的电荷越少;但当电荷变得稀缺,其离散性会产生不可避免的噪声。 传统机器将错误率控制在约 (10^{-15}),为在“热危险区”内维持确定性而承担不断上升的能耗。Verdon 因此认为,热力学计算不可避免:“你迟早得走向热力学计算。”

  • Extropic 称,公司已从 3 个 pBit 的超导原型,推进到拥有约 300 个自由度的硅芯片,并计划明年扩展到数百万个自由度。 据称,其可控 pBit 只需“数百阿焦耳”即可产生熵;相关结果已提交同行评审,公司承诺在节目录制后提供私测 alpha 硬件、论文和开源软件。公司目标是实现芯片级 1,000–100,000X 的能效提升,但 Verdon 明确将其与整机的制冷成本区分开来。

  • 一个对投资者最有参考价值的预测是晶圆级估算:20瓦功耗下,约可容纳15亿个 pBit 和200亿参数。 Verdon 将其与当前功耗20千瓦、甚至可能达到100千瓦的晶圆级系统对比,并认为,一个拥有数千亿参数的热力学模型,能效或许可以做到接近人脑的10X以内,而不是今天所称的1亿倍差距。这些都是前瞻性预测,并非已经验证的系统级基准。

  • 近期的逻辑是叠加,而不是彻底替代 GPU。 Verdon 预计,确定性处理器将继续承担经典功能,概率芯片负责采样,量子硬件则补充涉及量子系统的工作负载。他表示,现有建设“在可预见的未来”仍然安全,因为模型迁移需要时间;即使出现“好1,000X”的技术,也只是改变未来的电力与算力比。

  • 改变底层介质,可能改变最终胜出的模型架构,因为“transformers 并非神圣不可侵犯”。 Softmax、扩散模型、思维树搜索、蒙特卡洛树搜索、强化学习 rollout 和测试时推理,已经暴露出对采样密集型算力的需求;高效的物理采样可能让能量模型重新获得发展空间,并引发一场针对概率硬件优化的架构“寒武纪大爆发”。

  • Verdon 将去中心化算力与一项政治目标联系起来:个人应当拥有那些持续在线、能够延伸自身认知的系统。 他拒绝把仅仅获得一个集中控制的“唯一上帝模型”视为真正的自主,而认为那只是被同化进“Borg 思维”。在神经硬件出现之前,他预测人类与 AI 会先通过共享感知和行动实现一种柔性的融合。他更广泛的 e/acc 主张——“加速,否则死亡”——偏好增长、方差和反垄断式试验;Ramstead 则追问癌症式增长、威权主义局部最优和灾难性尾部风险。

精读

1. 还原论在复杂系统成为研究对象后失效

  • Verdon 回溯了自己的求学路径:7岁时就着迷于亚原子粒子,之后在 McGill 学习数学和物理,又在 Waterloo 和 Perimeter Institute 研究理论物理。他原本期待找到一个简洁理论,或许再加上一种奇异推进方式,让人类扩张变得可行。

  • 思想上的断裂来自凝聚态和量子引力问题:它们无法被还原成少数几个可解释参数。即使掌握微观方程,预测涌现行为也可能需要“规模类似整个宇宙的计算量”;许多系统无法通过解析方法简单地重整化成干净的高层规律。

  • Verdon 将接受不透明的计算表示称为一次“自尊死亡”:人类物理学家可能并不是“故事的主角”。张量网络和深度学习系统可以像自然本身一样难以解释,但可编程的复杂性仍然能够学习压缩表示,并提供预测能力。

2. 量子信息搭起从物理到 AI 的桥梁

  • “it from qubit”计划是对 Wheeler“it from bit”的推广,将宇宙视为量子计算机,或视为一个自我模拟系统。无论 AdS/CFT 是否真正带来了统一,Verdon 最终都认为,复杂主义,以及能够匹配自然复杂性的计算,是更有生产力的框架。

  • 他的第一个答案是“以火攻火”:用可调控的量子复杂性去建模量子复杂性。他参与开发了早期的参数化量子程序,即量子神经网络;后来成为 Rigetti 的早期用户,再加入 Google 开发 TensorFlow Quantum,最终在 Alphabet X 负责量子机器学习。

  • 其中可复用的原则是底层介质匹配:受物理约束的表示,应当运行在其原生动力学实现相同物理过程的加速器上。量子表示应放在可控的薛定谔演化上,随机表示则应放在可控的随机演化上。

3. 量子制冷让更热的计算机变得有吸引力

  • 在量子计算领域近8年后,Verdon 认为进展过慢,于是转向研究容错的热力学负担。量子机器试图维持接近绝对零度、接近零熵的状态,并通过他所谓的“算法式制冷”持续抽走噪声。

  • 他的思路反转很简单:让环境噪声进入系统,直到量子相干性消退,有用动力学转为随机动力学。与量子计算不同,他认为热力学加速并不存在复杂度类上的分离,只有速度和能耗上潜在的巨大常数级收益,足以让数字仿真在规模化时变得不切实际,但并非不可能。

  • Ramstead 进一步明确了定义:基于物理的计算,是利用组件真实的物理属性,而不是对其进行数字仿真。Verdon 则保留了宽泛的分类,包括量子、随机、光子,甚至包括通过“水洼”训练出来的神经网络;同时,他区分了基于物理的执行与受物理启发的软件。

4. 确定性有能耗代价,Extropic 选择利用噪声

  • 经典硬件通过让信号远大于电子抖动,迫使晶体管进入绝对的开或关状态。Verdon 援引麦克斯韦妖认为,“知识是有成本的”:降低熵、在每个时钟周期维持确定性,必然需要消耗能量。

  • 他的替代方案是“学会放手”(“learn to let go”):不再紧紧拽动信号,而是“温和地引导”噪声动力学走近平衡。这个哲学类比是有意为之:软件已经从命令式编程交给了梯度下降,硬件也应停止把每一次波动都当作敌人。

  • 从技术上看,Extropic 正在打造用于马尔可夫链蒙特卡洛的加速器,覆盖离散变量、连续变量及二者的混合。其最新芯片采用混合信号架构:随机电子学负责生成提议或熵,传统数字组件则执行 Metropolis–Hastings 接受与拒绝等非随机操作。

5. AI 软件是概率性的,哪怕运行它的机器不是

  • Ramstead 指出了计算栈的悖论:硬件耗费能量移除随机性,采样算法却在软件中把随机性恢复回来。Verdon 补充说,transformer 的 softmax 已经让它成为“一台大型概率计算机”;扩散模型在反转马尔可夫链,而测试时推理越来越多地使用蒙特卡洛树搜索、思维树搜索或 RL rollout。

  • Extropic 成立于2022年,建立在一个判断之上:主要工作负载将转向采样和概率推断。Verdon 将当前架构描述为确定性前向传播与完整能量模型之间的插值,扩散模型处于这条连续谱的中间位置。

  • 2 位投资 Extropic 的 transformer 论文作者反复告诉团队:“Transformers 并非神圣不可侵犯。”它们之所以有效,是因为适配了 Google TPU;如果改变硬件的适应度景观,Verdon 认为,模型搜索可能进入一个高温阶段,出现原生适配概率计算的架构“寒武纪大爆发”。

6. 摩尔定律在热危险区变成摩尔墙

  • 传统处理器通常将错误率控制在 (10^{-15}) 附近,以便在需要纠错前完成海量运算。但微型化会提高波动相对于信号的比例:“要使用更少的功率,就需要使用更少的电荷”;当剩余电荷很少时,其离散性会周期性地产生噪声。

  • Ramstead 用网球作类比,区分了不同区间:宏观运动可以忽略分子振动,量子机器维持相干叠加态,而热力学设备则工作在波动与组件尺度信号共存的区域。Verdon 的判断是,越来越小的确定性晶体管无论如何都会被推向第3种状态。

  • Verdon 认为,人脑证明了有用的热力学智能确实存在;Ramstead 则认为,人脑的运行状态接近 Landauer 极限。Verdon 同意,神经递质通过随机化学反应网络运动,并认为电子电路或许能更高效地执行类似的概率程序,因为“电子比大型神经递质轻得多”。

7. pBit 将能量景观转化为可编程概率

  • Extropic 的芯片可以被视为一个随时间变化、可编程的能量函数,其扩散过程类似朗之万动力学,而后者本身就是一种 MCMC 方法。这个类比是字面意义上的:贝叶斯采样算法可以嵌入电子的原生运动,而不是逐步进行数值仿真。

  • 一个 pBit 类似于包含弹跳小球的双势阱景观。一个势阱代表0,另一个代表1;调节倾斜程度,可以控制信号在每个状态中停留的时间,由此形成一个持续在0和1之间跳动的“分数比特”。

  • 公司最初从3个超导 pBit 开始,随后在硅上复现了随机原语;Ramstead 将最新芯片描述为拥有约300个自由度,但 Verdon 提醒,它们并不全都是 pBit。据他介绍,芯片产生熵的能耗只有数百阿焦耳,并计划明年扩展到数百万个自由度。

8. 硅是产品,超导体是学习平台

  • 超导电路量子电动力学能够将目标哈密尔顿量直接映射为电路,因此成为早期有用的工程平台。根据材料不同,这些器件运行在数百毫开尔文或数开尔文的温度;维持低温边界本身就是一项主要的实际成本。

  • Verdon 承认一个极端思想实验:如果把数百万个超导 pBit 放进一台足球场大小的稀释制冷机,可能会形成最高效的概率计算机,但这“可能并不”适合创业公司,也不具备现实可行性。他更愿意将这项工作交给学术界和国家实验室,作为社区平台。

  • Extropic 为商业化选择了室温硅。其宣称的 1,000–100,000X 能效区间适用于芯片级别,同时承认制冷成本这一前提;温度更低的热力学器件本地能耗更少,但维持冷浴也会产生自身成本。

9. 胜出的技术栈是异构的,而非处处热力学

  • Verdon 想象计算沿着不同尺度上的物理规律展开:早期层可能保留量子复杂性,中间层保留概率和熵,后面的确定性层则在信息完成提炼后执行坐标变换。

  • 实际计算图同样可以将定义分布的经典可微函数,与从该分布中采样的概率加速器结合起来。“你不一定需要在计算图的所有位置同时拥有熵”;热力学硬件也不会适合每一种确定性或高精度操作。

  • 量子计算机或许仍将作为量子系统的补充;概率处理器和确定性处理器则覆盖大多数其他工作负载。因此,Verdon 告诉计划建设 GPU 和 TPU 基础设施的企业,迁移“需要相当长时间”,热力学算力起初应作为附加组件出现,未来可见的建设仍然可用。

10. 能量模型同时暴露上行空间与功耗约束

  • Verdon 将现代神经网络描述为能量模型的平均场近似:确定性硬件推动研究者转向矩、Gaussian 分布族、矩阵和向量,因为这些对象能够高效映射到 GPU。更快的物理采样可能让更广泛的 EBM 家族变得实用,而不必再将分布压缩成硬件友好的摘要。

  • 在晶圆级别,他预计20瓦功耗可以容纳约15亿个 pBit 和200亿参数,而当前晶圆级系统的功耗为20千瓦,甚至可能达到100千瓦。他表示,一个多层、拥有数千亿参数的系统,能效或许可以接近人脑的10X以内;相比之下,他认为当前差距接近1亿倍。

  • Verdon 的明确约束是,当前硬件无法规模化支撑无处不在的智能体、视频模型、世界模型和具身智能。即使聚变能源足够丰富,最终也会增加行星向外辐射的热量:“我们真的会被煮熟。”因此,目标市场不应局限于生成式 AI,还包括仿真、优化、统计推断和科学计算。

11. e/acc 将热力学选择应用于技术与政治

  • Ramstead 引入 Effective Accelerationism,将其作为有效利他主义的对照;Verdon 将其定义为一种“文化超参数处方”,在对数尺度的卡尔达肖夫文明等级上最大化文明自由能的生产与消耗。他以随机热力学为框架,从自私基因和自私模因推进到“自私比特”:耗散更多自由能的轨迹,其出现概率会呈指数级上升,因此“加速,否则死亡”成为这一运动有意为之的戏剧化口号。

  • Ramstead 的反驳值得保留:无边界增长可能产生癌症、独裁或被强加的同质化。Verdon 回应称,这些都是短期视角下的局部最优:癌症会杀死宿主,而立即烧光一切会阻止未来被接管。目标应是在事实上无限的时间跨度上进行战略性增长,保存秩序和资源,以便未来获得更多资源。

  • Ramstead 通过主动推断解释“超迷信”机制:感知和行动可以减少模型与世界之间的偏差,“车会开向眼睛注视的地方”。随后,他举出一个有争议的例子,称 COVID 是防御性生物武器研究中的一次事故,并加上限定,认为这“可能是防御性的”。Verdon 没有实质性支持这一例子,但认同更广泛的乐观引导逻辑,并表示每个行动都始于一个错误信念。

  • 在地缘政治上,Verdon 偏好方差而非垄断:美国像高温搜索,中国像低温优化器,在梯度明确后负责规模化。DeepSeek 在出口管制约束下进行探索,是他用来说明另一片超参数区域、并暴露西方收敛状态的例子;他的处方是自上而下的协调与自下而上的探索相结合,因为他的“P90,1984”高于对 AI 的“P doom”。