当今最优秀的模型在数学方面仍然做不到什么

摘要

• Daniel Litt 最喜欢的完全自主成果，是5月中旬解决爱尔兰单位距离问题的结果；他认为这“在某种程度上有点创造性”，而不是对人类工作的最后一步收尾。 Lisha指出，相关领域的研究者原本认为命题成立，但有人借助20世纪60年代的经典技术找到了反例，而这些技术此前并未用于研究平面上的点配置。数学家随后用这套思路为其他开放问题找到反例，包括实数域上的和积猜想。Litt 的评判标准是事后检验：新想法是否能被用于其他问题，或是否加深了理解？
• 能力前沿高度失衡：模型“非常、非常擅长运用已知技术”——能够埋头做计算，也能整合许多论文中的技术性想法，但在直觉、大局观哲学和理论构建方面明显薄弱。 Fable 和 ChatGPT 5.6 都不擅长自主构建理论，不过在提示下可以做出有意思的东西。Litt 的保守判断是，如果模型只需“100比特的提示”就能做到，也许6个月后就能在没有提示的情况下做到。
• AI 生成的数学证明读起来像人写的，而不是来自异形智能——“并不存在什么‘第37步’”。 Lisha指出，各实验室似乎在扩展自然语言推理，而不是依靠大规模 Lean 验证证明语料。Litt认为，这意味着尽管人们常用可验证性解释数学进步，这类技术或许也能泛化到其他领域；但他强调，这“只是我的猜测”。
• 短而巧的证明构成的是验证能力的上限，而不只是风格选择：“它们之所以没有产出冗长复杂的证明，是因为它们做不到”；模型生成长篇输出时“可能根本不知道自己错了”。 OpenAI 最近列出的10个问题已经用 Lean 形式化，而 Litt 认为，一份声称解决正特征下奇点消解问题、长达800页的 AI 生成证明几乎肯定是错的。能够诱导模型写出250页论文的编排框架，往往是以牺牲可靠性为代价。
• 激励机制已经面临风险：博士后可以“反复拉老虎机”，直到模型吐出一个希望正确的证明，然后靠此发表论文。 Litt 曾让 Codex 找出5个近期的代数几何猜想并加以证明；经过一些来回沟通，Codex 在1小时内生成了3篇“很糟糕、但正确的论文”。他和 Lisha 还讨论了这样的案例：几天之内，3–5篇论文使用了“完全相同的证明证明完全相同的定理”。系统性风险不是100万人追逐不同的好奇心，而是“1个数学家被复制1,000遍”。
• Anthropic 与 OpenAI“旗鼓相当”，Claude 在 Opus 4.5 或 Opus 4.6 左右追了上来，此前很长时间对研究数学都没什么用。 一个新的秩30椭圆曲线结果颇有意思，但在不知道其方法的情况下无法评估；近期一些成果涉及 Levent Poge，但自主程度并不清楚。从历史上看，这类纪录很酷，却“不是 Annals 级别的成果”。
• 即便模型变得“真正稳健地超越人类”，Lisha 仍说“我们还是需要人类数学家”。 Litt认为，最优并不意味着会开展广泛、多元的基础研究：自主系统可能会选择一条直接路径。由兴趣广泛的群体组成的数学共同体，才能保留人类的控制权，把模型引向多样化研究，并维持培养数学思维者的路径。
• Litt 的核心原则是：“数学的目标不是产出数学论文，而是产出某种理解。” 如果理解只是储存在模型权重里，对他而言并不令人满意。人类数学家应继续发展自身能力，利用 AI 加深理解，而不是把思考交给 AI。

精读

1. 唯一达到 Litt 标准的自主成果：爱尔兰单位距离反例

• Litt 对 AI 数学成果的分类是：有些完全自主，有些半自主，还有一些连 AI 到底贡献了什么都“不太清楚”。许多成果只是“最后一步”——深层次工作由人类完成，AI 负责迈出最后一步。他最喜欢的完全自主成果，是5月中旬公布的爱尔兰单位距离问题解答，因为它“在某种程度上有点创造性”。
• 它的创造性来自哪里？Lisha说，相关领域的研究者原本认为命题成立，但最终找到了反例。这个结果引入了“另一个领域”的技术——“60年代的经典想法”，本身既不深也不新，却是首次用于研究平面上的点配置。它随后产生了连锁效果：数学家用这些想法为其他开放问题找到反例，“比如实数域上的和积猜想”。
• Litt 的评分函数是事后检验：观察成果引入了哪些新想法，再追问这些想法是否“有助于做其他事情”，或是否“改善了我们对某件事的理解”。

2. 证明是人类式的，自然语言推理或许可以泛化

• 针对 Lisha 所说的“非人类壮举”，Litt 的修正是：公开的思维链摘要“非常容易辨认”，大致就是人类数学家的推理。就他研究过的各项成果而言，“并不存在什么‘第37步’”；它们“像是一个人类数学家在做某种类型的数学”。真正更像非人类的地方在于，模型不会疲惫，而且知道很多东西。
• Lisha观察到，各实验室似乎在扩展自然语言中的推理能力，而不是依靠大规模 Lean 验证证明语料。Litt说，人们常常认为数学是一个可验证领域，但“因为它们主要在扩展形式化推理”，他猜测这些技术可能泛化到其他领域。他强调，这“只是我的猜测”。

3. 实验室战报：5.6 对 Fable，在锯齿状前沿上难分伯仲

• Litt认为，两家实验室解决的是“一组非常相似的问题”——OpenAI 发布一个解法，Anthropic 就说自己也知道怎么解；而这组问题只占人类数学家工作中“相对很小的一部分”。他主要使用 ChatGPT，部分原因只是惯性：很长一段时间里，Claude 模型“对研究数学根本没用”，直到 Opus 4.5 或 Opus 4.6 左右才基本追上。
• Lisha根据个人体验做出的区分是：5.6 对自己知道什么、不知道什么有更清晰的心智模型，而 Fable 会先解释一个简单问题，然后突然跳到很远的地方。Litt 的结论是，两者“理论构建能力都很差”。他曾尝试让 Fable 和 ChatGPT 5.6 构建理论；“它们显然不擅长自主完成”，但在提示下能产出有意思的东西。他补充说，很难判断其中多少来自模型，多少来自提供提示的人。

4. 数学家实际在做什么：开放问题是基准，类比是引擎

• Litt认为自己首先是解题者，而不是理论构建者，但开放问题的作用是衡量理解上的缺口：“它有点像一个基准测试。”他举的例子是 Grothendieck p-曲率猜想，它衡量的是人们对微分方程理解上的不足。
• 另一种工作模式由哲学驱动：Litt 的研究源于一个类比——代数簇的同调与基本群的表示之间存在对应。“一边出现的任何现象，都能在另一边找到类似物。”沿着这条类比，Carlos Simpson、Takuro Mochizuki 等人开展了数十年的数学研究。“实际上，这种哲学非常不严谨，完全不是符号推演。”
• 找到正确的问题往往才是最难的部分。Birch and Swinnerton-Dyer 猜想是“第一个大数据猜想”：Birch 和 Swinnerton-Dyer 在1960年代收集椭圆曲线的统计数据，将其绘图后，发现一条斜率与某个代数不变量之间存在关系。
• AI并不适合这些活动：“一个现象越模糊，或者你脑中越没有一个精确的问题，它就越没用。”对于他已经推进3–5年的项目，AI“主要是 Google 的替代品”。但由于 Litt 不擅长编程，AI也解锁了一批涉及大规模并行寻找例子的项目——让 AI 并行处理1,000个例子，或一次处理10个、由10个子代理分工；没有 AI，这些项目可能会被他推迟几个月。

5. 反对美学至上：“不择手段地取胜”

• Litt努力不让审美成为动力，并指出年轻数学家常见的一种失误：因为证明“感觉非常丑陋”就放弃它。他的回应是：“如果你错了，而它其实并不丑呢？为什么要限制自己？”他说：“你应该不择手段地取胜。”
• 他更愿意用“做某种以概念为对象的物理学”作为指南：追问什么是基础性的，什么能进一步打开理解，而不是试图创作数学艺术。他也承认，很多数学家认为自己更接近诗人。
• 他更广泛的社会学判断，也贯穿后面对 AI 的讨论：进步来自人们追逐个人好奇心。许多人对“什么有趣”有不同理解，才能让“一千种不同的花”绽放；前沿由此扩张，新想法也有机会层层传递，最终解开旧问题。

6. 模型为何难以构建理论——而无法蛮力推进反而导出了更好的定理

• Litt认为，模型难以处理他的一些困难猜想，一个原因是这些猜想通常被认为是真的，而且嵌在宽泛的理论框架中。错误的猜想可以通过一个具体构造直接反驳；但这类猜想可能需要先解决其他猜想，并发展出“非常严肃的新想法”。他强调：“我不是说模型做不到；只是到目前为止，它们似乎还做不到。”
• 他并不怀疑能力会继续增长。他猜测这件事“可能完全可行”，也许需要一个不同的强化学习环境。难点在于理论构建更难设计奖励：证明一个猜想很容易奖励，但对理解的中间性改进则不然。
• 他最有力的案例来自一篇论文。当时仍处于前沿的 Gemini Deep Think 在证明引理方面很有用，但所有前沿模型都无法证明其中一个引理。Litt 逐一研究了大量例子，意识到一个更好的命题可能成立，随后模型很快就证明了这个改进后的命题。
• 如今，ChatGPT 5.6 Pro 能证明原来的引理，但给出的是“你见过的最糟糕的证明”——10页惨烈计算，没有任何洞见。Litt意识到，蛮力证明确实能奏效，却实在不愿亲手去做，于是转而寻找概念性论证。“我们无法直接蛮力推进，这一点对我们发现新东西的能力其实很重要。”

7. 垃圾论文经济学：老虎机与 arXiv 上的模式坍缩

• 激励问题在于，学界适应之前的未来几年里，求职市场上的博士后可能通过“反复拉老虎机，直到模型产出一个希望正确的证明”来发表论文。Litt 做过一次实验：让 Codex“找出5个近期的代数几何猜想，并证明它们”。经过一些来回沟通，Codex 在1小时内生成了3篇“很糟糕、但正确的论文”；这些论文就放在他的硬盘里，等着他联系相关人士。
• 低质量的标志未必是错误，而是缺乏人类参与的痕迹：“看不出任何证据表明确实有一个人在参与其中”，也没有人力资本或理解的积累。Lisha提到，有时几天内会出现“3篇、4篇或5篇论文，使用完全相同的证明证明完全相同的定理”。她称之为一种模式坍缩；Litt说，ChatGPT 总是在找到同一个东西。
• Litt不认为随着模型改进，问题就会自然消失。如果数学探索被模型所追逐的目标支配，整个领域可能得到的是“1个数学家被复制1,000遍”，而不是“100万名不同的数学家在做100万件不同的事”。

8. 短证明是校验上限，模型还无法给论证做单元测试

• Lisha转述 Mark Sellke 和 Mehtab Sawhney 的观察：AI证明往往短得讨喜。Litt的解释是，“它们之所以没有产出冗长复杂的证明，是因为它们做不到”：模型还没有足够的能力检查正确性，生成长篇论证时“可能根本不知道自己错了”。
• 他猜测，OpenAI 和 Anthropic 解决的问题可能多于公开发布的数量，但其中一些无法形式化，因为前置结果尚未进入 Mathlib；而更长的证明也更难检查。OpenAI 最近列出的10个问题已经用 Lean 形式化，这为其正确性提供了“非常有力的证据”。
• 一个典型案例是一份800页的 AI 生成证明，声称解决正特征下的奇点消解问题。Litt没有读过它，但说“它不可能正确”，也没有任何人类读过它，而当前模型无法检查这样的论证。
• 为诱导模型写出长证明而搭建的框架，可能反而降低可靠性。试图让模型生成一篇250页的论文，可能是在把它推离谨慎模式；“任何能够诱导模型写出250页论文的框架，可能都没有认真检查它产出的内容”。
• Litt最喜欢的一项未通过测试，涉及一篇未具名的错误论文：具体错误非常微妙，但整体结构立即让专家意识到，它证明了一个过强的结论。人类会从全局对长篇论证做压力测试——看它是否会推出已知为假的结论，或检查它在特殊情形下是否成立。模型仍无法可靠地完成这种对证明的“模糊单元测试”。

9. 即便 AI 稳健地超越人类，只要培养链条还在，人类仍有任务

• Litt的核心主张是：“数学的目标不是产出数学论文，而是产出某种理解。”某些理解或许存在于模型权重中，但“对我来说，这相当令人不满意”。
• 数学前沿研究依赖“成千上万、数百万乃至数十亿人”学会数学式思考。现有激励机制却可能转而奖励博士后发表大量论文，包括由模型生成的论文，而不奖励人力资本或理解的积累。
• Lisha说，即便模型变得稳健地超越人类，“我们还是需要人类数学家”。Litt回应，即使自主研究在效率上达到最优，也不能保证模型会追求广泛的基础研究，而不是沿着通往工具性目标的直接路径前进。确保研究多样性的最简单方式，是维持一个兴趣广泛的共同体，让它推动模型，也帮助塑造社会。
• Lisha 和 Litt 还讨论了便宜但略逊一筹的产出挤压高质量工作的风险。Litt认为，AI可以在每个维度上提升质量，但这需要审慎思考和制度重构。Lisha描述了一种课堂上的“双峰分布”：一部分学生学会使用工具，另一部分学生让 AI 替自己完成作业，随后在其他地方遭遇失败。
• 谈到育儿，Litt说，他3岁的女儿已经开始学习加法；他开玩笑说，“icosahedron”是她最早说出的词之一，同时解释说她很早就学会了柏拉图立体。Lisha说，自己的女儿能可靠地数到大约30，数到50则算得不太稳定；她还描述过一次，发现女儿钻在毯子下面说：“哦，我在做数学。”Lisha说，她把加减法放在一般群的语境里教；Litt说，下一步就是群论。两人的共同教育判断是：即使世界上存在能力极强的 AI，数学仍能帮助人清晰思考、理解世界。