摘要

算力通缩是最值得关注的数字。 DeepMind 团队当年花费“数百万美元的研发和算力”打造 AlphaGo，如今只需“几千美元的租用算力”——Jang 用 Prime Intellect 捐赠的$10K完成了项目，其中$4K用于探索、$3K用于最终运行，并大量依赖 LLM 编程代理。他总结出的普遍规律是：“率先完成某件事所需的算力，总是远大于后来追赶所需的算力。”追赶可以通过蒸馏，以及针对 KataGo 等现有 bot 的最佳响应训练实现。
算法优势只是暂时性的算力倍增器。 Jang 基于自己的 AlphaGo/KataGo 实验得出的初步结论是：架构“没那么重要”，GPU 越快，一些辅助技巧的价值越低，而且各类倍增器彼此相关，无法简单叠加；另一方面，好点子在前沿实验室的训练运行中也可能互相冲突。研究品味，就是“知道在任何时点 Bitter Lesson 能替你省下多少工作”。
AlphaGo 相对现代 LLM RL 的核心结构优势，在于每一步都能通过 MCTS 得到一个更好的监督标签。 因此“你永远不必从0%的成功率开始初始化”——而在策略梯度 LLM RL 中，正如 Karpathy 所说，监督信号是“用吸管一点点吸进来的”：当自博弈结果是51比49时，约30,000个动作里只有1个真正有信息，且梯度方差会随时间跨度呈平方增长。Jang 认为前向搜索“可能会卷土重来”，用于 LLM 推理，但 PUCT 或许并不适合语言。
最具交易价值的哲学判断是：一个10层、约3M参数的网络，可以在一次前向传播中摊销一个几乎不可解的搜索问题。 这是一项“我认为今天大多数人还没有完全理解”的突破，也支撑了 AlphaFold，并暗示“构建一个非常复杂的模拟所需的计算资源，可能远少于你的想象”；Jang 说：“这确实让我怀疑，我们对 P=NP 等问题的理解……可能并不完整。”
自动化研究的成绩单显示，模型很擅长开放式超参数迭代和端到端实验执行，但“不太擅长选择下一项该做什么实验”。 它们缺乏横向跳出、回到第一性原理的思考，基础设施 bug 也得由他自己发现。Jang 的设想是，把 Go 作为训练自动化科学家的可验证外循环，用来捕捉 reward hacking；他推测，这类技能或许能像 DeepMind 的游戏经验一样迁移到 LLM 工作中。
Andy Jones 在2021年的《Scaling Scaling Laws with Board Games》中，已经预见了推理时扩展。 也就是用训练算力换取测试时搜索；Jang 在尝试复现这项工作时提醒，只有系统真正跑通后，扩展规律才值得研究，否则“你可能只是在坏数据上研究扩展规律”。

精读

1. 这场休假押注：曾在 DeepMind 花费数百万美元的 AlphaGo，如今成了约$10K项目

Jang 曾任1X Technologies AI 副总裁，此前在 Google DeepMind Robotics 工作。他利用休假重建 AlphaGo，因为一直觉得它“相当神秘”——“一个10层网络究竟如何摊销对棋局深层模拟的计算”，而这类问题“早就被认为不可能通过搜索解决”。
算力成本曲线是理解这件事的关键：David Wu 在 Jane Street 工作期间开源的 KataGo（2020）将从零训练出强大围棋 bot 所需的算力降低了40倍；如今“多亏 LLM 编程，过去需要 DeepMind 一整支研究科学家团队和数百万美元才能完成的事情，现在几千美元的租用算力就能做”。
Jang 全程使用 Prime Intellect 捐赠的$10K：约$4K用于探索性研究，约$3K用于最终运行，剩余资金用于在线提供模型服务。

2. 围棋为何击穿经典搜索：361³⁰⁰与缺乏局部奖励

围棋最残酷之处在于，“直到真正走到最后，你其实不知道谁赢了”——没有局部奖励信号，每回合约有361种可能走法，一盘棋通常走250–300手，朴素搜索树规模约为361³⁰⁰，远超宇宙中的原子数量。这也是计算机科学家认为本世纪内围棋都不可解的原因。
两套计分机制对实现很关键：人类通过价值函数共识结束棋局，即“我认为棋下完了”——双方都必须同意；而 Tromp-Taylor 规则“完全没有歧义”，可以由算法判定，因此所有围棋 AI 都用它训练，尽管 Tromp-Taylor 有时会把人类明知已经输掉的目算为得分。
这项运动的质感可以概括为一句话：“你可以输掉战斗，却赢得战争。”在一处牺牲棋子、换取另一处更多提子，正是棋盘变大后微观与宏观动态急剧膨胀的原因。

3. PUCT 机制：探索、利用，以及概率如何进入确定性游戏

每个 MCTS 节点记录访问次数、平均动作价值 Q、先验概率 P 和子节点；动作选择会最大化 Q(s,a) 加探索奖励。对未访问动作，探索奖励很大；随着访问次数增加，奖励逐渐衰减——一开始“由探索项主导的 argmax”，会逐步让位于 Q 值主导。（Jang 提到，如果让 LLM 凭感觉编写 MCTS，“Claude 4.6 写出的……数据结构选择相当合理”。）
围棋是确定性游戏，因此概率只来自随机搜索过程本身：Q 是“某个随机搜索过程诱导出的随机分布下的期望动作价值”。如果使用均匀先验，这个积分在理论上成立，却几乎没有希望求解：“本质上几乎就是一个重要性采样问题”，只有少数路径携带价值。
价值通过 backup 步骤传播：终局叶节点被判定为胜负，每个父节点的 Q 值则是其子节点价值的运行平均；这套传播可以一路追溯到根节点。

4. 价值网络，就是被形式化的人类直觉

Jang 的核心框架是：人类会在终局前几十手、甚至100手停下来，因为大脑运行着“一个叫作价值函数的神经网络，它接收棋盘状态并评估胜率 p(win)”——人类看一眼棋盘，就能在几秒内隐式摊销“海量可能的对局展开”，而无需在逻辑上真正走完每一盘棋。
概念上有两个问题：搜索树的宽度和深度。AlphaGo 的两张网络分别压缩了这两个维度：策略网络削减宽度，判断一眼哪些着法看起来更好；价值网络截断深度，判断从当前位置谁会赢。MCTS 每一步都会从头重新运行；旧搜索虽然被丢弃，但其中一个信息会被保留下来供后续使用。

5. 架构几乎无关紧要——而这本身就是一个发现

Jang 曾“非常努力地让 transformer 跑起来”，希望它们能去掉 KataGo 的各种技巧，但“在小数据 regime 下，ResNet 仍然优于 transformer，在更低预算下也能带来更高的性价比”——在拥有足够数据学习全局注意力之前，局部卷积的归纳偏置更占优势。KataGo 自己的解决方案是对全局特征做 pooling，让网络能够“把棋盘一侧的价值连接到另一侧”。
针对 Dwarkesh 关于时间历史的提问（比如扑克、外交），Jang 说围棋是完全信息博弈，“存在一个仅凭当前状态就能决定的单一纳什均衡”——这一设计“事后看效果非常好，因为这个纳什均衡似乎是超人类级别的”。而像2v2 Go 这样的非完全信息游戏必须纳入上下文，因为你需要建模队友；这是他认为“非常令人兴奋的研究领域”，也鼓励大家 fork 他的 repo。

6. “在深度学习里，初始化就是一切”

Jang 最重要的实践建议是：“永远先选一个能工作的东西，再让它做得更好，而不是从一个完全不能工作的东西开始。”AlphaGo Lee 从人类专家棋谱的监督学习初始化，之后才逐步走向 tabula rasa。
这个已经足够神奇的 checkpoint 是：单独的监督策略网络——“10层神经网络，参数可能不到3M”——无需搜索，只靠直觉落子，“大概率就能击败大多数人类棋手”。价值头的合理性检查是：棋局早期棋盘应收敛到约0.5的 logit，随着对局推进逐渐锐化至0或1。

7. 四步循环——以及给 AlphaGo Lee 配的 TPU pod

每一步都会运行200–2,048次 selection、expansion、evaluation、backup 模拟，其中价值网络充当“搜索到树底的捷径”。结构上的硬约束是：“围棋的组合复杂度太高，你无法提前把树建好再搜索。你必须一边构建树，一边搜索。”
AlphaGo Lee 会将价值估计与实际的策略对策略 rollout 平均，直到 Tromp-Taylor 规则判定终局，即 α·Vθ + (1−α)·playout，以现实结果校准估计。但“事实证明这完全没有必要”；之后所有论文都删掉了这一环，速度“提升了很多”。
谈到 AlphaGo 对阵 Lee 的比赛，Jang 认为他们每步用了数万次模拟，并说系统运行在“某个 TPU pod 上，我记得是这样”。Dwarkesh 说：“老实讲，这有点不公平。Lee 不可能用1E22 FLOPS来走一步棋。”Jang 的回应是，现代 bot 在测试时只需很少算力，因为训练已经“把能力推入网络”；比赛中的 pod 只是额外加码。

8. MCTS 作为改进算子：把1,000次模拟摊销进前向传播

自博弈的窍门是：搜索将策略网络原本分散的预测，锐化为尖峰式的访问次数分布后，你就可以对策略网络说：“既然 MCTS 要做这么多工作才能到这里，为什么不让你从一开始就直接预测出来？”蒸馏、重启，1,000次模拟就能把模型推到测试时扩展曲线上的更高点；搜索算力被摊销进权重，并继续迭代。
这与机器人领域的 DAgger 类似：MCTS 会把一盘输棋中的每个动作重新标注为“你本来应该采取的、严格更好的动作”。它不保证最终获胜，但保证在重新训练这些重标注的 tuple 后，策略会得到改进。每个动作都有一个改进标签，因此“相比另一种朴素 RL 方法，你的学习信号方差非常低”。

9. Dwarkesh 的追问：MCTS 一定比策略更好吗？不——它只是启发式方法

Jang 的诚实回答值得保留：“实践中，它是一种启发式方法。”如果 bot 经常在走到 Tromp-Taylor 终局前认输，replay buffer 就会遗忘残局价值评估；错误的终局价值会“一路向上传播”，MCTS 返回的分布反而可能比原始策略更差。它“只有在 N 趋近无穷时才保证收敛”——这背后依赖“一条非常关键的假设链”。
实践中的修补方式是：在10%的对局中禁止认输，必须下到终局；同时从廉价来源 bootstrap 价值函数。残局棋盘“几乎像一个可判定问题”，在9x9棋盘上进行50,000局随机对弈就能学到不错的价值，而 KataGo 风格的架构也能把9x9价值头迁移到19x19。“归根结底，如果没有价值的锚定函数，MCTS 最终会崩溃。”
冷启动阶段的动态是：AlphaZero 训练早期其实主要是在教价值头判断谁赢；“等价值头训练得比较好之后，策略才开始同步改进。”

10. AlphaGo 为何仍然深刻：NP-hard 问题不断被压进前向传播

Dwarkesh 的挑衅是：越理解 AlphaGo 手工搭建的脚手架，就越会觉得2017年的成果不如 RLVR 的简单。但 Jang 说：“我个人不同意。”真正深刻的地方在于，“10步神经网络并行化的分布式表征思维，能够摊销并高保真近似一个几乎不可解的搜索问题……这是一项我认为今天大多数人还没有完全理解的突破。”同一现象也支撑了 AlphaFold 和 AlphaTensor。
他提出的、自己也觉得不安的推测是：“这确实让我怀疑，我们对 P=NP 等问题的理解……可能并不完整。”这些问题在最坏情况下是 NP-hard，但“我们通常并不关心最坏情况”。在极限条件下，“构建一个非常复杂的模拟所需的计算资源，可能远少于你的想象。”
对 Dwarkesh 质疑的混沌论回应是：棋盘未来的精确状态像天气一样——“一颗棋子落在这里，就可能扰乱整个预测”——但谁会赢是宏观量，就像你可以知道 Lorenz 吸引子的形状，却不知道自己在吸引子上的具体位置。哈希函数则相反：它们同样对初始条件敏感，但（希望）不存在宏观结构。Jang 强调这是哲学而非数学结论：密码协议与神经网络展现出“趋同演化”，并引用 Jascha Sohl-Dickstein 的观点称，“神经网络在混沌边缘拥有最大的能力”。

11. 51比49问题：为什么朴素自博弈 RL——以及 LLM RL——会陷入信号饥荒

Jang 给出的例子是：两个实力相当的策略进行100盘、每盘300手的对局，策略 A 以51比49获胜，胜因可能只是运气，也可能包括“1个真正更聪明的着法”。于是，除了1个真实监督信号，剩下的是99×300个模仿后不会带来任何变化的动作。奖励在各步骤之间耦合时，梯度方差会“随 T 呈平方增长”。
Dwarkesh 的连接非常到位：这种不可解 regime，“默认就是 LLM 的训练方式”——也就是 Karpathy 所说的“用吸管一点点吸监督”。Jang 认为，这并不是说方法无效：数百万样本加上 advantage estimation，通过减去基线，让中性动作获得约为0的梯度，仍能恢复信号；但 MCTS 直接绕过了 credit assignment 问题，因为它“试图改善你对任意一个已采取动作的标签”。
LLM 为什么把整段序列当成一个动作，即 T=1：如果拆成逐 token 奖励，就会引入交叉项，放大方差；把整段序列压缩成一个奖励和一个 log-prob，则能让估计器保持单动作形式。

12. 无法搜索时：虚构自博弈、Q-learning 与 off-policy 管道

当搜索树无法构建时，比如 StarCraft、Dota，neural fictitious self-play 仍然保留同一思想——为每个动作提供更好的标签。它通过 model-free RL，在一个联赛中针对固定对手训练最佳响应策略，再将其蒸馏成混合策略；后者“不会比随机选择的平均对手更差”。Q-learning 也采用类似的反向价值传播，不过它处理的是“智能体已经访问过的轨迹”，而不是预先规划的轨迹。
Dwarkesh 问，既然研究者通常担心 off-policy，为什么 AlphaGo 的 replay buffer 没问题？DAgger 视角认为，数据应主要来自策略分布之内，以及围绕最优轨迹的“高维管道”，并带有能把策略引回管道的标签；这种机制可以抵抗漂移，因为“围棋和国际象棋的问题在于，对手总是在试图搞点事情”。当你给“永远不会访问到的状态”打标签时，off-policy 才会造成浪费容量的问题。
Jang 在一个离线机器人风格的设置中做过实验：用 MCTS relabeler 替代 Bellman updater，让它用当前网络重新搜索随机的旧棋盘状态。“这确实有效”，当状态合理且策略能够到达时，还能稳定训练。由于不依赖实时对局，它也能让 GPU 持续满载。但现代 RL 最终大多回到了 on-policy 设置，只使用 off-policy 数据来塑造 advantages：“这样更稳定。”

13. 用 MCTS 做 LLM 推理：今天很难移植，但卷土重来并非没有可能

今天难以移植的原因是：PUCT 的 √N/(1+Nₐ) 探索项假设子节点是离散的、可以重复访问的，但在语言中，“你大概率永远不会两次采样到同一个子节点”；而且 PUCT“可能过于贪恋局部 token”，生成一些“显然正确、但并不能真正解决最终问题的想法”。
Dwarkesh 的关键质疑是：在围棋里，你可以通过有价值截断，在局部验证一个更好的着法；但在 LLM 推理中，除非把问题解决，否则没有办法独立改进下一步。Jang 稍作缓和——“‘没有办法’是个很强的说法”——MuZero 风格的连续控制研究仍在推进，“通过前向搜索和模拟来更好地判断什么有价值”这一思路可能会卷土重来。数学看起来像树；“商业谈判……可能需要稍微不同的方法”。

14. 研究扩展规律前，先得有一个能工作的产物——而先行者注定付出溢价

Andy Jones 在2021年的《Scaling Scaling Laws with Board Games》中预见了推理时扩展，即用训练算力换测试时搜索，同时也预测了更大棋盘所需的算力。Jang 的项目最初是对 Bitter Lesson 的一次测试：不依赖 KataGo 的技巧，构建一个强大的 bot。“到目前为止我还没有成功”，他承认自己的错误是：MCTS 存在 bug 时，“你可能只是在坏数据上研究扩展规律”。教训是：“在你亲手制造的产物还没有有趣到值得研究之前，没必要急着进入研究这个产物的科学阶段。”
AlphaGo Zero 的3E23 FLOPS 是随时间变化的算力图上的巨大异常值：这不是做得不好，而是先行者税。“一旦别人已经完成了，你就可以使用蒸馏之类的技巧。”Jang 通过针对 KataGo 进行最佳响应训练完成 bootstrap；AlphaZero 团队则没有可供训练的对手。这也是机器人领域前沿模型散点图看不到清晰曲线的原因：这些团队优化的是达到能力的时间，而不是算力最优的 Pareto 前沿；只有当“我们讨论的是数亿美元”时，才会真正开始在意这套纪律。
2017年与现在的差异可以拆解为：简单的同步基础设施就够用；使用桌面 Blackwell GPU 的数量只需 KataGo 基于 V100 的配置的一半，系统仍可能正常运行；有了强初始化，辅助目标并非必要；每个 episode 的模拟次数也不太敏感。但9x9联合训练仍然是一个真正的倍增器，它能削减 AlphaGo Zero 花费约30小时追赶监督基线的时间。

15. 每 FLOP 比特数：RL 为何学得如此缓慢，而 AlphaGo 没有这个问题

Dwarkesh 提出的框架（他特别提醒“可能完全错了”）是：每 FLOP 比特数 = 每 FLOP 样本数 × 每样本比特数；而在长时程 RL 中，这两者都会坍缩。监督学习从一个标签中得到 −log(p) 比特；二元 RL 最多只能得到一次抛硬币的熵，而且“训练的大部分时间都处于低通过率阶段”——未训练模型可能要猜10万次“天空是 halycon”，才偶然猜中“蓝色”。Dwarkesh 的观点、也是 Jang 认同的观点是：如果你的策略根本没有机会采样到“蓝色”，那“你永远不会得到信号”。
两人都认可的蒸馏推论是：软目标携带完整分布的熵，而 one-hot 目标的熵为0，因此“每个样本包含的比特信息多得多”；“这也是 AlphaGo 很漂亮的原因”：它模仿的是 MCTS 分布，而不是被选中的动作。
对于 AlphaGo 为什么是优雅的 RL，Jang 的回答是：“你永远不必从0%的成功率开始，也不必解决探索问题。”它没有显式的 TD-error 学习或动态规划，“至少不是显式地”；“它只是一个基于改进标签的监督学习问题”，能在任意网络规模下保持稳定，基础设施极其简单，而且 MCTS 与原始网络之间的差距在训练每一步都提供了干净信号。

16. 自动化研究：擅长反复试验，不擅长横向思考——以及作为可验证外循环的 Go

Jang 的工作主要由 Opus 4.6 和 4.7 完成。有效的部分包括：超越网格搜索和贝叶斯优化的开放式超参数搜索，比如“我发现这一层的梯度很小，那我来改这里”；以及一个 Claude“Experiment”技能，它接收研究轴的描述，运行全部实验并汇总报告。无效的部分包括：在一条研究路径中选择下一项实验，或退一步思考——“等一下，这条路径本身似乎没有意义”；基础设施 bug 也需要他通过提出正确问题来亲自发现。也许“Mythos-class models”可以通过规模扩展解决，也许这需要专门为横向思考打造的 RL 环境。
他设想 Go 就是这样的环境：它“囊括了许多非常有趣的研究问题”，同时速度快，而且在外循环上“很难作弊”——包括“我能否预测自己的想法最终会产生什么样的扩展规律图”这类元任务；这些技能或许可以迁移到生物科学、机器人，“或者自动化 AI 研究”。
谈到可叠加性，Dwarkesh 听说过前沿实验室的一种失败模式：好点子彼此作用不良，最终杀死训练运行。Jang 的解释是，启发式方法“可能存在一定程度的冗余”，算力倍增器彼此相关，而且是“暂时性的”，随着 GPU 进步，其重要性会下降。研究品味就是“知道在任何时点 Bitter Lesson 能替你省下多少工作”；从更长时间尺度看，“当你不断扩大能量、算力和参数规模时，智能自然会涌现出来。除此之外，算法细节并不真正重要。”
最后仍没有答案的问题是：游戏时代的经验能否迁移？Jang 凭非严格的直觉认为，DeepMind 多年积累的 Atari、围棋和 StarCraft 经验，对其 LLM 工作产生了积极迁移，因此也应该能帮助自动化研究者。Dwarkesh 的反驳是，在“Gemini 3 或者类似产品”出现之前，游戏传统一直与 Google 落后联系在一起，因为它绑定了旧方法；真正的故事也许是 TPU 技术树上的预训练。Jang 承认：“即使对人类而言，要思考最优研究策略是什么也很难。”相关资源包括 evjang.com、GitHub 用户名 ericjang，以及博客文章《As Rocks May Think》。

David Einhorn在2026年Sohn Investment Conference上的投资推介 AI 安全强势回归 + 与 Nikesh Arora 共谈 Mythos 乱象 + Hot Mess Express