热力学 AI 芯片 · Thomas Ahle

摘要

• Normal Computing 的工作覆盖一整套由 AI 辅助的 EDA 流程，服务于封闭且昂贵得令人咋舌的芯片设计工具链。 Thomas Ahle 描述了从人类意图到 Verilog/RTL、优化、形式化、验证，再到流片的完整路径。商业工具可能“一个 CPU kernel 就要1万美元”；如果部署100万个代理，光许可证就意味着约100亿美元。其 swarm 在43天内生成了超过50万行代码，约20个 GPT 代理则已持续推进约6个月。
• 智能体产出的扩张速度超过了扎根于现实的理解能力，使正确性而非代码生成成为约束。 Tim 称其结果可能变成“意大利面怪物”，并产生“理解债务”。Thomas 承认，这场押注是要实现“摆脱代码复杂性的逃逸速度”：模型进步得比代码恶化更快。ProgramBench 最初约150–170个程序的完整通过率为0%；即使测试得分达到70–80%，仍要追问更难的问题：“它到底有没有真正做对其中任何一个？”
• 只有当 AI 忠实地把人类意图翻译成形式化规格时，形式化证明才能真正保护设计。 证明或证伪可以提供干净的验证器奖励，但把数千页规格自动形式化极其脆弱：几个错误的词或数字，就可能生成与目标无关的定理。设计、测试和功能覆盖团队彼此提供有限独立性；重复运行能带来有用的分歧，却不构成真正的正交验证，因此采用仍然是“一场信任考验”。
• Normal 已发布的 CN101 芯片，让噪声本身成为一类狭窄概率工作负载中的计算。 一组由可编程电阻连接的电容阵列在噪声驱动下运行，使电路遵循随机微分方程；其最终行为与所编码矩阵的逆相关，但只是“有点像”。关键在于，随着规模扩大，基准测试能否证明这一方法超越当前狭窄的应用场景。
• 硬件加速本质上是软硬件协同设计问题，因此局部惊人的加速也可能只是虚假节省。 如果推理目前只占 GPU 约10%的使用量，消除这一瓶颈最多能让这部分获得约10倍提升，随后主导延迟的会变成另一环节。扩散硬件同样只有在模型重构为“全押”低成本随机性时才真正重要。嘉宾偏好混合方案：用学习得到的直觉结合优化后的经典搜索，就像 Stockfish 在传统引擎中采用快速神经评估。
• 持续学习可能把智能体系统变成构建抽象的机器，但也会打乱对齐和推理服务的经济模型。 嘉宾认为，模型会在预训练阶段形成抽象，Mistral 对代码的直觉就是例子，但在线运行时却很难做到。他猜测 Dario 可能把即时学习视为安全风险，因为模型可能偏离安全检查点。实时更新权重也会破坏共享模型服务，不过按用户配置 LoRAs，或使用始终自适应的硬件，可能提供出路。Tim 则认为，Claude 已经作为一个由用户、测试和再训练构成的更大生态，表现出适应性。
• 最大的执行风险来自人和组织：AI 可以提高绩效，却同时侵蚀能力、审查规范和共享代码。 Tim 称其为“人类历史上最具欺骗性的事物”；嘉宾更尖锐地说：“问题不只是它变得更聪明了，人类也在变得更愚蠢。” 他们的应对措施刻意保留摩擦：手工敲代码、限制并行项目、保留专家审查，并寻找优于“所有人盯着10个私有代理”的协作结构。

精读

1. EDA 经济学拖慢 AI 在芯片设计中的采用

• Thomas Ahle 的背景是理论计算机科学和高维数据算法，曾研究 locality-sensitive hashing，之后转向热力学计算。Normal Computing 的更大目标，是让设计师从意图一路走到 RTL、优化、形式化、验证和流片；他把这套系统比作“芯片设计领域的 Lovable”。

• 他把 Verilog 描述为一种“超并行编程语言”，其中的构造会映射到硬件。工程师将 RTL 编译成网表和原理图，再对设计进行仿真和形式化验证，随后送往晶圆厂；与软件不同，已经制造出来的错误无法简单地“在线上修复”。

• 这套工具链没有软件业那样的开源生态。商用仿真器或验证器可能“一个 CPU kernel 就要1万美元”，因此节目估算，扩展到100万个代理可能意味着光许可证就要约100亿美元，还不包括计算机本身的成本。

• 这种稀缺性也让硬件 AI 缺乏训练土壤：可用于预训练的开源代码很少，代理也无法低成本访问强化学习所需的工具。因此，相比硬件工作流，Python 和 JavaScript 让人感觉“完全是两个世界”。

• 这种偏执在经济上完全合理。Thomas 提到，1990年代 Intel 的著名除法 bug 造成的损失在5亿至20亿美元之间，其他一些逃逸到产品中的微小 bug 甚至几乎让公司破产；因此，硬件天然适合采用形式化方法。

2. 50万行生成代码押注“理解债务”

• Thomas 的 Verilog 模拟器项目在43天内生成了超过50万行代码；他还提到，约20个 GPT 代理已经运行约6个月，仍在持续推进。他明确押注的是“摆脱代码复杂性的逃逸速度”：模型进步得比其生成代码变得难以管理更快。

• Tim 质疑这种升级幻觉：Fable 突然让4.8显得很差，就像4.8曾经取代4.6一样。Thomas 承认这可能只是“烟雾和镜子”，但表示，使用 Fable 3天后，一些 GPT-5.5 的错误得到清理，客观测试也取得了更多进展；这份证据让他获得了一定信任。

• Thomas 认为 ProgramBench 是 Facebook 发布的，包含约150–170个程序，其中包括 FFmpeg。模型最初得分为0%，因为没有一个模型通过所有测试；只报告单项测试中70–80%的通过率，会掩盖一个程序仍有20–30%失败，而这大概意味着它并不正确。

• Tim 怀疑仅凭行为能否恢复深层结构。Thomas 则以编解码器逆向工程反驳：人们可以根据编码后的数据块、截图或视频片段，以及关于变换或分块方式的先验，推断未知格式，并不断把输出可视化，直到电影真正出现。Tim 将其重新表述为“生成—判别不对称”；Thomas 则把它类比为 A* 搜索中的剪枝。

3. 智能需要可复用的抽象，而不只是更长的搜索

• Tim 认为，LLM 可以通过“组合闭包”展现智能：给定有用的基础原语，模型就能通过爬山搜索组合出计算结构。嘉宾同意，更好的预训练模型中的高层抽象可以让后续强化学习更有效，但在线系统很少会把新发现加入可复用的抽象库。

• 嘉宾认为抽象确实会在预训练阶段形成，Mistral 对 Normal 代码库中 bug 的明显直觉就是例子，但他也承认，实时使用时仍缺乏持续学习。Tim 还把 Claude 描述为一个适应性生态：用户运行测试和反事实实验，这些经验被重新训练，后来的用户继承由此形成的抽象。

• 这种能力伴随着风险。嘉宾认为 Anthropic 可能是对持续学习持谨慎态度的公司之一，并回忆 Dario 曾表示，即时适应可能构成安全风险，因为代理可能偏离经过对齐的“安全检查点”。这段归因和措辞在对话中都经过谨慎表述。

• 推理服务也需要重新设计。按用户更新权重，会阻止服务商向不同客户共享同一个固定模型；嘉宾提到，可以采用共享基座加 LoRAs 的方式，类似于他认为 Thinking Machines 正在探索的方案，但也承认持续更新在运营上仍然困难。

• 关于思维链，嘉宾关注的是给模型提供一个可运行的状态和工作空间。他提出，一个能够访问这类持久进程的简单 LLM 式系统，原则上可以拥有通用图灵机级别的表示能力；至于它能否学会利用这种能力，仍是一个需要实证回答的问题。

4. AI 可能把定制芯片变成下一个 CUDA kernel

• Tim 把 ASIC 视为凝固后的智能：把复杂任务压缩成最优表示，再将其固化进不可适应的硬件。嘉宾同意，这能让当前模型极其高效，但也警告说，历史上过度锁定硬件往往会限制软件创新；Nvidia 的灵活性为实验留下了空间，尽管它也把 AI 引向了矩阵乘法。

• AI 辅助 EDA 正在缩短这一锁定周期。嘉宾设想，开发者可以像创建 CUDA kernel 一样随意地创建专用电路：发明一个算法，让 AI 设计并优化电路，检查正确性，再在晶圆厂利用更高效的批处理。

• 由此形成的循环符合“递归自我改进”的定义：AI 帮助构建更好的软件和硬件，而后者又进一步改善 AI。嘉宾同样被另一端的可能性吸引——让芯片在设备上学习，而不是把每一种抽象都冻结进硅片。

• 模拟存储器可能让持续学习从可选项变成现实需求。基础电容需要刷新，模拟电阻存储器则可能难以保持数值；如果推理和学习持续并行，适应过程本身就能刷新状态，更接近嘉宾所描述的“始终在适应”的突触。

• Tim 通过 Chomsky 的推土机类比，以及 Deep Blue 像推土机赢得奥运举重比赛的说法，把话题连接到绩效与能力之争。嘉宾回应称，如果 AI 确实在处理语言，那么即便系统采用不同于人类的方式，也可能帮助我们理解语言这一抽象概念。

5. 形式化验证的效果取决于意图是否被正确形式化

• 嘉宾区分了自动形式化和证明。前者是把人类规格转换成类似 Lean 的形式；后者则是证明代码满足该规格。验证器可以为证明或证伪形式化命题提供强大的强化学习环境，但无法判断该命题是否真正捕捉了人类意图。

• 按嘉宾的说法，AlphaProof 的一个有效训练技巧是要求“证明或证伪”。即使命题翻译错误，模型仍可能通过证明其为假来产生训练信号；但对2024年 IMO 题目而言，正确形式化十分关键，而且是由人工完成的。

• Tim 补充称，AlphaProof 使用了 Lean 4，而当时 Lean 4 的材料有限，因此需要一个 Lean 3 到 Lean 4 的转换器，以及大量人工修复。他还指出，后来一款在 IMO 中取得金牌的新模型，并没有以同样方式使用形式化验证，这进一步说明能力存在连续谱，而不是二元选择。

• 硬件把难度从一段文字规格提升到数千页规格。“几个词错了”或少数数字有误，都可能让最终证明失去相关性。芯片厂商的应对方式是采用彼此正交的设计、测试和功能覆盖团队，相当于测试测试本身，并逐项核对所有要求。

• 多次 AI 运行可以暴露分歧，因为长时间生成包含足够的熵；但嘉宾不认为相同模型构成真正的正交验证。Tim 更广泛的观点是，保证程度可能始终处于一个连续谱上，由测试、证明、视觉检查和独立视角共同构成。

• 对话还否定了“存在唯一正确形式化表示”的想法。同一个数学或硬件意图可以有多种表示方式，而替代表示既可能帮助模型提升表现，也可能提高最终产物的可读性。

6. 系统级硬件需要的不只是周期级完美证明

• 周期级属性要求精确描述每一个时钟周期的行为，适合使用 SystemVerilog Assertions，包括加法器、算术电路和密码硬件。死锁、活锁、时序一致性和共享资源冲突等协议级问题，则需要 TLA+、定时 Petri 网等更高层的形式化方法。

• 嘉宾以 DRAM 为例说明两者差异：激活一行后必须等待数据传输才能读取，电容需要定期刷新，不同 bank 可以并行工作，而共享电路又会在 bank 内、bank 之间以及 bank group 之间引入依赖。定时 Petri 网可以表达这种并行协作，而无需规定每一个门电路。

7. CN101 让热噪声执行概率计算

• 嘉宾表示，自己在 Facebook 从事概率计算和贝叶斯神经网络研究后加入了 Normal Computing。后验推断可能需要使用不同随机种子重复运行很多次，或采用解析近似。他提出的问题是：制造商花费巨大精力消除电噪声，而概率软件又把随机性加回来，“为什么不试着造一块天生随机的芯片？”

• Normal 的首款硅产品 CN101 使用由可编程电阻连接的电容阵列。注入噪声后，物理系统遵循随机微分方程；嘉宾表示，其行为与电路编码矩阵的逆“有点对应”，可以通过平均提取出来。

• 当前目标仍然狭窄，嘉宾强调的重点是协同设计，而不是提出普适性主张。CN101 是一种新计算范式的早期实现；真正具有决定性的证据，将来自架构扩展以及围绕丰富物理随机性重新设计模型后的基准测试。

• 在生成式 AI 中，贝叶斯不确定性也不再那么直接。对单一输出建立概率分布曾经有明确价值；但当序列会探索10个选项、回溯并最终给出答案时，用户关心的是对结论的信任，而不是某个特定 token 的不确定性。

• 嘉宾早期的一项实验让模型收集证据，估计这些证据在不同答案下出现的可能性，再用贝叶斯定律将其结合。手工计算的神经符号版本在一次内部预测游戏中表现良好，但直接要求模型自己应用贝叶斯反而略好——他推测，可能是因为模型折扣了自己“胡编”的概率。

8. 协同设计决定热力学加速能否兑现

• 嘉宾警告，专用硬件可能加速的是错误环节。如果推理目前只占 GPU 约10%的使用量，修复这一瓶颈可能只会让这部分获得约10倍提升，之后系统就会由另一个组件主导。类似地，如果其他位置的传统神经网络决定总延迟，扩散加速器也会令人失望。

• 现有算法是在 GPU 上塑造出来的，而 GPU 并不适合采样海量高斯随机变量。更快的随机硬件可以立即带来收益，但更大的机会在于设计全新的模型，让其“全押”这项新近变便宜的操作，而不是继续保留一套专门规避它的架构。

• 嘉宾反对仅仅因为 LLM 能够输出二进制或汇编，就让它们介入每一层计算。密码学、大整数算术、编译和综合都包含大量暴力循环，优化后的经典算法仍然快得多；学习得到的知识应当用于引导搜索，再把任务交给合适的机制。

• Stockfish 是他心中的混合方案范例：传统高速棋类搜索搭配一个浅而宽、更新极快的神经网络评估函数。它通过结合直觉和结构化搜索，击败了最优秀的开源 AlphaGo 式国际象棋引擎。

9. AI 生产力正在瓦解能力与协作

• Tim 认为，软件过去通过电子表格等共享接口，把复杂性导入共同结构；智能体编程则制造出个性化网络，“像服用了类固醇的 bash 脚本”。嘉宾认为，开源正在碎片化，因为人们重新生成代码，而不是汇聚到持续维护的库中，即便私有版本在局部效率更高。

• 对话还谈到产品和工具的经济学。Tim 通过 MCP 或 CLI 接口使用 Notion，而不是按 API 价格为代理调用付费；嘉宾称 API 定价正在“扼杀这个领域的创新”，并提到账户制访问可能是一种替代方案。

• 嘉宾补充说，专业工具承载着长期积累的领域知识，因此能够提取并提炼这些知识的代理，可能让工具本身具备战略价值。

• 在自身专业之外，认知失效会更加严重。Tim 描述了“AI 精神病”：Claude 让用户相信平庸的论文或代码非常出色，而专家一眼就能发现缺陷。嘉宾认为，这破坏了社会契约——既然发送者可能从未读过，为什么还要花时间审查——并向技术社区灌入大量无人阅读的 AI 生成内容。

• 他们的核心警告是，依赖正在伪装成理解。嘉宾说：“问题不只是它变得更聪明了，人类也在变得更愚蠢。” 人们不再阅读论文，而是阅读摘要；不再让大脑“走完那些步骤”，就直接继承模型输出。

• 嘉宾提出的应对措施包括手工敲入生成代码、在复制粘贴前向员工发出警告，以及在理解前几个项目之前，抵制开启第5个并行项目。这些摩擦很重要，因为 Normal 必须让 AI 工程师学习硬件，也让硬件工程师学习 AI，而不是只追求即时产出最大化。

• 当每个人都在盯着10个私有代理时，团队协作仍然没有答案。嘉宾回忆，一支 Anthropic 团队曾让每个人独立编写一个版本，再选出最好的一个——这是有效的人类集成，却“确实消除了所有团队协作”。Tim 以本期的核心张力收尾：整个行业正在集体押注，绩效比能力更重要。