OpenAI 数学推理突破内幕

摘要

• OpenAI 数学家 Mark Sellke 和 Mehtaab Sawhney 介绍了 Astra 如何处理一组 10 道题，其中最引人注目的是确定高维球堆积中的渐近 Cohn–Elkies 线性规划界。 Astra 构造出了达到该界的函数，并证明在这一框架内不存在更优函数；这一等式此前只是 Cohn 及其合作者根据数值结果提出的猜想，他们当时“完全不知道为什么答案会是这个”。这项工作改进了长期存在的密度上界。给它的提示基本就是：“分析这个高维线性规划……好好玩。”
• 模型的优势在于执行、押中正确方向，以及在没有被污染的上下文中重新开始的能力。 Sellke 表示，模型一旦有了想法，就特别擅长把技术细节做对。在单位距离问题上，模型押中了数学家曾经尝试过的一条路径，并通过剪枝搜索树而不是暴力穷举来推进；它仍会犯错，也会回头重新考虑。“它并不是在尝试一切。”
• 嘉宾将类数学家的推理方式与通用推理工作联系起来，而不是总结出一套数学专属的方法论。 Sellke 表示，回溯、重新开始等行为“并不真正专属于数学”。OpenAI 发布这些结果的推理过程摘要，部分原因是要说明模型并非只是在猜；Sawhney 说，读这些摘要就像在读同事的笔记。
• Astra 用约 15 页证明了非 sofic 群的存在，而约 2 年前对 Aldous–Lyons 猜想的相关否证用了约 250 页，建立在另外 200 页工作之上，并使用了量子复杂性理论。 一位嘉宾感到意外的是，现实恰好反转了此前最担心的情形：“1 年前，如果有人告诉我这些 AI 证明都很短、很优雅，我会非常惊讶。”Kun 和 Thom 已经继续推进了相关工作。
• 主要可见的局限是任务导向，而非能力不足——模型完成指定任务后就会停下。 在唯一一次互动式结果中，研究者围绕球面编码和二进制编码提问；当他们追问“能不能再推进一步？”时，模型给出了更复杂的表示论，并与球堆积的数值联系起来。一位嘉宾以功利主义视角理解品味：通过更好的判断解决更难的问题，本身就是品味更好的证据；另一位则建议将品味与长时段执行分开，由监督模型指导底层系统。
• 数学的经济学可能发生反转：过去证明是瓶颈，理解则会“搭便车”随之到来；如今，理解、消化和传达结果可能成为被明确赋予价值的稀缺工作。 模型可以生成指数级更多的数学，也能帮助人们消化这些成果——“它正在帮助解决自己制造的问题”；应用工作未来可能不再需要找到某个领域的世界级专家。但上限仍然很高：“我们可能永远也解决不了 P versus NP 这类问题。”

精读

1. 被 IMO 金牌和 5 分钟文献检索改变看法的 2 位在职数学家

• Sellke 是在去年夏天看到 IMO 金牌成绩后加入的：“太不可思议了……我想看看他们到底做了什么。”秋天，他给此前的合作者 Sawhney 开了一个 GPT-5 账号，Sawhney 很快就确信，这些模型非常值得投入时间研究。
• Sawhney 的转变始于一次浏览：他在查看一个收集 Erdős 组合数学问题的网站时，长期困扰他的是，看到某道题被标为未解决，却不知道它是否真的仍未解决——“文献往往很难检索”。他把其中一道题输入 GPT-5，5 分钟后模型就找到了参考文献；此前他的朋友们已经花了数小时，却不知道这道题是否在能力范围内。“类似这样的情况，我们又找到了大约 10 个。”

2. 模型为何胜出：执行、押中方向，以及干净的上下文窗口

• Sellke 谈到模型的一项相对优势：人类很容易迷失在“ε 是否小于 δ”这类记账工作中，但只要已经有了想法，“AI 基本总能把这类论证做对”。
• 在单位距离问题上，Sellke 说，数学家可能会花数小时、数天甚至数周尝试一个想法，最后认定它行不通，之后才发现别人其实做成了。“你其实是在和问题下注”；模型“极其执着”，但又不可能尝试一切，它“押中了正确方向”，并剪掉了搜索树中的无效分支。
• Sawhney 补充说，这个想法并不陌生，说明严肃的数学家很可能已经尝试过。他还指出，人类一旦沿着错误路径走下去，最初的计划往往会和所有失败经历绑定在一起；而对 AI 来说，开启另一个会话、从不同方向重新开始非常容易。
• Sellke 表示，模型确实会犯错，然后再对错误进行思考。人类往往会在一次失败后降低对某条路径的评价，连续几次失败后还会继续这样做；模型重新考虑并重新开始的能力，是执行不再成为主要障碍的原因之一。

3. 良好的数学推理与通用推理能力相连

• 主持人 Lisha Li 提出的疑问是，论文和教材并不是学习如何思考的好训练集：“不要从 Rudin 学实分析”，因为经过打磨的成品隐藏了“促使我们以某种方式构造定义的挣扎”。那么，类数学家的思考究竟从何而来？
• Sellke 的回答仍然是通用性的：“我们训练的是通用推理模型。”回溯、重新开始等行为“并不真正专属于数学……如果你努力训练推理，最终应该会看到这些模式”。
• OpenAI 发布这些结果的推理过程摘要，原因之一是要回答模型究竟是在猜，还是在以一种完全陌生的方式思考。Sawhney 说，这些摘要“非常像在读同事的笔记”——合作者把想法连续写进邮件，再串联起来。“前几次看到时相当令人惊讶。”

4. 球堆积：Astra 用精确渐近式解决线性规划界

• 关于球堆积的讨论首先说明了我们所知有多有限。访谈中提到，已知最优答案的维度只有 5 个：d=1 是平凡情形，d=2 对应六角晶格，d=3 是 Hales 在 2000 年代证明的“杂货店橙子”结果，d=8 和 d=24 则分别来自 E8 和 Leech 晶格。d=2 的证明直到 1960 年代才出现；d=3 的证明有数百页，而且“出了名地丑陋”。Viazovska 在 d=8 和 d=24 上的相关工作，是她于 2022 年获得 Fields Medal 的重要原因之一。
• 对平面答案最直观的解释只有一句：蜜蜂使用蜂巢结构。“如果有更高效的方式，蜜蜂大概早就会用另一种方式排列蜂巢了。”在高维空间中，一个容易得到的下界是 2^-d：对于饱和堆积，把每个球的半径放大 2 倍后，必须覆盖整个空间。讨论强调，即使把球放在立方体的顶点上，被覆盖的体积也会趋近于 0，仍然可能留出空间放进另一个球。
• 很长时间以来，最好的上界约为 2^(-0.599d)，来自 Kabatiansky 和 Levenshtein 在 1970 年代的工作。他们的论文只有 1 至 2 页，且以极度简练著称。
• Cohn–Elkies 线性规划方法是在满足 2 个条件的函数中进行优化：当 ||x|| > 1 时，f(x) ≤ 0；函数的傅里叶变换非负。Astra 证明，这一框架内可能达到的最佳界，其渐近形式基本为 (e^(-c+o(1)))^d，约等于 2^(-0.6d)，并证明不存在更优的可 admissible 函数。这是关于线性规划界的精确结果，并不意味着高维空间中的实际球堆积密度已经被确定。它解释了 Cohn 及其合作者此前通过数值工作猜出的那个数值。
• 一位嘉宾在读研究生时曾思考这个问题约 6 个月，却“完全没有取得任何进展”。证明线性规划界无法改进的部分只有几页复分析：“一旦你看出来……简直难以置信——为什么以前没人做过？”

5. 编码：唯一一次互动式结果，以及“再推进一步”暴露了什么

• 球面编码可以理解为球面上的球堆积；二进制编码则是其在超立方体上的对应物。它们通过要求允许的码字之间具有较大的汉明距离，形式化了纠错问题。对二进制编码而言，这是一个实际的信息论问题：在 1% 的错误率下，为了容忍这些错误，n 比特消息需要延长多少？
• 模型通过表示论为这些问题找到了更好的界，而不是使用完整空间线性规划分析中的复分析方法；其核心是充分利用球面和立方体的对称性。
• 这是唯一一组具有互动性的题目。研究者要求模型将编码界提高一个指数级因子，模型使用了一些表示论；当他们追问“嘿，能不能再推进一步？”时，模型给出了复杂得多的表示论。在小球面极限下，这一结果恢复了完整空间球堆积结果的一部分及其数值。随后研究者要求模型直接分析完整空间情形，把整个图景补完。
• 这个诊断对外推很重要：“这不是能力问题。”模型被要求改进编码界，完成任务后就停下了。“模型通常非常任务导向。你告诉它做一件事，它完成了，就会很满足。”

6. 品味之争：功利主义指标与监督者—底层系统的分工

• 一位嘉宾采取功利主义视角：品味就是“能否通过更好的判断更快地解决问题”，因此解决更难的问题，“某种意义上按定义就意味着它拥有更好的品味”。任务导向的表现——取得突破、识别出突破，却因为没有被要求而不继续推到极限——“与当前进展的状态相比，似乎是很小的问题”。
• 另一位嘉宾认为，具体的长时段任务和品味最好分开：一个模型负责品味，另一个模型长时间处理问题，成为“监督 AI 的底层系统”。
• 讨论中的人类类比是：一个朋友站在你身后看着你，问一句“你在做什么？”，就能提供有用的 10 秒重置。嘉宾看不出模型在这方面有任何本质上不同于人类的理由；多个智能体或合作者可能比单个智能体更强大。

7. 非 sofic 群存在：人类需要 450 页和量子复杂性，Astra 只用约 15 页

• Sofic 群大致是指可以用有限群逼近的群。整数与模 n 整数提供了一个典型图景：从局部看，一个足够大的有限环看起来就像无限直线。Sofic 性蕴含 surjunctivity；人们之所以希望所有群都是 sofic，是因为有限群证明有时可以通过这类逼近迁移过去，这条思路可以追溯到 1970 年代 Gottschalk 提出的问题。
• 更强的 Aldous–Lyons 猜想约 2 年前被一项“史诗级”工作否证——“大概 250 页，建立在另外 200 页之上”——其中使用了量子复杂性理论和一座复杂的桥梁，能够理解它的人并不多。Astra 直接证明非 sofic 群存在，篇幅大约 15 页，留在群论内部，并建立在 Kun 和 Thom 的结果之上。这是“一项非常、非常精细的组合论证”，只需再加入一个代数事实，就能排除此前工作无法排除的那种“诡异共谋”。
• 一位嘉宾坦言，自己的判断发生了变化：1 年前，他原本会预期 AI 证明变成上千页、没人能理解的对象。但现实是，“这些 AI 证明全都很短、很优雅”。“现在只有人类还能写出 200 页的证明。”
• Kun 和 Thom 已经继续找到了更多非 sofic 群的例子。“我们不想亲自去写大量后续论文。”

8. 数学的新经济学：理解成为被明确赋予价值的稀缺工作

• Sawhney 谈到吸收知识的一面：现在他会把 arXiv PDF 丢进自己最喜欢的模型，让模型给出一个粗略的证明策略，而不是只读论文引言。模型“会帮助我们生成指数级更多的数学，但也会让吸收这些数学变得容易得多……它正在帮助解决自己制造的问题”。
• Sawhney 的结构性判断是，过去证明一个结果太难，因此理解、维护和解释它会随证明过程一并获得：如果是你亲自证明的，就会自动对它有相当深入的理解。随着这一瓶颈被放松，“组织知识的最优结构可能会变得非常不同”。
• Sawhney 预计，共同理解——帮助其他人类把数学放进一个框架，并真正欣赏它——会成为“这个领域中越来越明确、越来越有价值的一部分”。
• Sellke 指出，数学难度的上限很高，因此“我们可能永远也解决不了 P versus NP 这类问题”。这个领域可能会比过去更依附于大型谜题，而不是较小的常规问题。
• 嘉宾还预计，数学将更广泛地被使用：从事需要数学的工作，未来可能不再需要找到某个主题上的世界级专家。一位嘉宾最后说：“如果应用数学能快很多，对这个世界会是件好事。”