用范畴论让深度学习真正执行算法
摘要
- 当今前沿模型是在模仿计算，却还不能可靠地执行计算。 Andrew Dudzik 的测试非常直接：在一道有规律的加法题中改动一个数字，ChatGPT 就无法继续正确进位；而 Petar Veličković 指出，一些当前前沿模型每个 token 要执行“数千亿次乘法”，却仍不能可靠地算出小数字的乘法。对投资者而言，能力规模与计算可靠性仍是两个不同的投资论点变量。
- 工具调用有所帮助，但无法消除架构瓶颈。 模型仍必须预测计算器的正确输入，而更长的推理链可能需要反复调用、重新思考，以及模型与工具之间多次切换。Dudzik 认为，内化的基础计算“有机会稳定得多”，并可能显著提升推理效率。
- Taco Cohen 否定“神经网络无法学习算法”这一最强版本的论断。 训练得当的模型或许能在记忆容量允许的范围内学会长加法，只是偶尔忘记进位，和人类一样；神经机制既可以执行某种符号化过程，也能保留世界知识，并处理难以用严格符号定义的模糊概念。争议在于能否可靠外推，而不在于神经计算是否可能表现得像一个程序。
- 几何深度学习证明了正确架构先验的实际价值。 当对称性确实成立时，平移等变性和置换等变性可以在不引入偏置的情况下压缩假设空间，使所需数据量“几乎呈指数级”下降；transformers 在加入 token 和 position embeddings 后，本身也利用了置换等变性。但群对称性只能描述可逆变换，而真实程序经常会销毁信息。
- Category Theory 被提出作为从空间对称性推广到计算本身的通用框架。 从群转向幺半群，意味着移除可逆性的要求；进一步转向范畴，也不再假设每个操作都能与其他任意操作复合。其目标是构建一张“神经网络元素周期表”，从中推导架构，而不是靠临时增加旋钮和反复微调来发现架构。
- 这一框架的具体目标包括递归、有原则的权重共享，以及神经网络实现进位。 在2-范畴中，权重绑定成为一种连贯的重参数化，而不是无法解释的编码约定；同一抽象还可以表达超越字面复制的关系。Dudzik 更难的目标，是让神经加法器传递隐藏在状态变化中的信息，这可能成为“在神经网络中实现真正 CPU”的路径。
- Veličković 设想的是混合系统，而非纯神经系统。 神经网络负责把嘈杂的现实翻译到抽象空间，计算则交给学习到的先验、精心设计的损失函数，或能提供正确性、收敛性保证的工具与算法组件。他的标准不是 100%准确率，而是系统知道一个问题需要多少计算，并能说：“这个问题……对我的能力而言，计算规模太大了。”
精读
1. 规模带来令人信服的近似，却带不来可靠的算法
Dudzik 开场故意下了一个绝对判断：“语言模型不会做加法。真的不会。”给 ChatGPT 一串 8 加上一串 1，它能识别其中的规律；但把其中一个 8 改成 7，迫使它在正确位置停止传递 0，它要么编造答案，要么重复记忆中的模式。
Cohen 的反驳值得保留：训练得当的 LLM 或许能学会长加法，直到记忆出错，就像人类会忘记某一位数字或处理错一次进位。对他而言，这个过程究竟是“神经的”还是“符号的”并不重要；关键在于，神经机制可以执行算法，同时吸收海量世界知识，并处理难以用刚性符号定义的概念。
Veličković 看到的是更深层的训练错配：一些当前前沿模型每个 token 要执行数千亿次乘法，却仍无法可靠地计算相对较小数字的乘法。再强大的工具，也救不了会预测错误输入的模型。Dudzik 补充说，当推理链包含大量细小计算时，反复调用工具会变得笨重，因此内化基础计算既有稳定性价值，也有效率价值。
同样的鸿沟也出现在世界模型中：Scarfe 说，Veo 或 Genie 在粗略观察下可能显得符合物理规律，却没有“100%准确地”编码牛顿三大定律。他给出的实际警告是有条件的：这些近似目前还不够准确，不能托付给机器人系统。
2. 几何先验节省数据，却无法描述破坏性计算
Cohen 主张采用“投入产出比很高”的抽象先验。有效的对称性可以显著压缩假设空间，同时不对模型施加偏置；而“灯的开关会打开灯”这类事实，则可以交给数据学习。认为2D图像是3D世界的投影，可能是有用先验；把所有关于现实世界的规律都硬编码进去，则不是。
Veličković 用两个例子说明等变性：平移一张猫的图片，标签应保持不变；打乱图的节点顺序，它所表示的图也应保持不变。把这些保证写进架构，所需数据量可以减少近乎指数级；如果使用普通 token MLP，可能需要比训练 transformers 结构上具备的置换行为时已经使用的数万亿样本更多的数据。
上限在于可逆性。置换可以被撤销，但 Dijkstra 或 Bellman–Ford 会把许多不同的加权图压缩成相同的最短路径，有时连最短路径长度也相同；原始图无法恢复。因此，Veličković 的路线是先把群放宽为幺半群，移除可逆性；再放宽为范畴，在其中，只有当一个函数的输出类型匹配下一个函数的输入类型时，操作才能复合。
他的混合系统主张有先例可循：FunSearch、AlphaCode 和 AlphaGeometry 都把语言模型与遗传算法、聚类或定理证明器结合起来，由后者提供鲁棒性与正确性属性。神经网络可以把嘈杂的现实翻译成高维嵌入，先验、损失函数或工具则负责执行可处理的计算；要求一个固定预算的模型同时完成这两项工作，“可能有点过头”。他的标准不是完美准确率，而是希望系统估算所需工作量与出错风险，或在问题的计算规模超出能力时主动退避。
3. Category Theory 旨在把架构设计变成推导
Dudzik 将范畴解释为“带颜色的代数”。方阵像磁铁一样总能连接；非方阵只有在维度匹配时才能连接——一个 (L \times M) 矩阵可以乘以一个 (M \times N) 矩阵，因为双方的 (M) 这两个“颜色”一致。范畴正是用来精确形式化神经网络中常见的不同形状之间这种部分可复合性。
Lessard 的结构主义区分了 Descartes 与 Euclid：在 Descartes 那里，直线是方程的解集；在 Euclid 那里，直线是连接两点并延伸其间的对象。综合数学把无法直接获取的内部细节视为“噪声”，只保留支持推理的关系；Category Theory 则提供了一种统一语言，用来描述群作用、列表、树，以及超越几何对称性“浩瀚空间中一个针尖”的其他结构。
Cohen 看重这种方法，是因为有用的定义可以系统地产生。把群表示成范畴，考察到集合范畴的函子，就会得到群表示；考察这些函子之间的自然变换，就会得到等变映射。“不需要特别聪明”；各个部分会“像乐高一样”拼接起来，并可能在陌生领域中暴露出类似的保结构映射。
Scarfe 的历史类比是元素周期表出现之前的炼金术：经验上确实取得进展，却没有能够推导下一种设计的基础。Bruno Gavranović 认为，深度学习充满临时性的选择，也缺少一个能统一概率论、神经科学和梯度优化视角的框架，并据此主张 Category Theory “将成为统一的深度学习框架”。Veličković 提出了眼下的直接问题：经典算法可以在抽象层面复合，但彼此独立学习出的潜在空间没有同样清晰的拼接规则。
4. 高阶范畴让权重共享成为数学对象
Paul Lessard 解释说，普通范畴包含对象和态射，即函数或箭头的推广；2-范畴还包含连接这些箭头的2-态射。多出来的一层记录了某些在把神经网络仅仅视为映射时会消失的性质，尤其是参数之间的关系。
在参数化函数构成的2-范畴中，2-态射是一种连贯的重参数化。权重绑定可以从较小的权重空间出发，把权重复制到更大的空间；但2-胞腔不必编码字面上的复制，也可以表达权重之间任意的连贯关系。Lessard 说，同一抽象可以跨越向量空间、流形，以及必须使用同一策略的博弈论智能体。
Scarfe 追问，这一层级是否还应继续扩展到第3、第4阶乃至更高阶。Lessard 坦言，研究者确实在研究3-范畴和无穷范畴；只是他曾发誓绝不进入2-范畴，如今又发誓绝不走得更高。动机是真实存在的：复合系统可能产生不同于单独研究各个组件、再研究其联合行为的效果，于是留下的不是等式，而是单向映射，并产生“一层又一层的涌现效应”。
5. 形式化桥梁抵达递归，也暴露出缺失的进位
Dudzik 区分了语法与语义：语法是程序由什么写成，语义是程序如何运行。加法配合取负与减法可以是不同的语法，却拥有相同的语义；因此，语义视角更适合数学分析和定理证明。列表同样拥有递归语法，却有可折叠的语义：一个数字列表经过加法后就消失了，数学家把这种可折叠结构概括为幺半群。
Scarfe 概括了核心构造：把神经网络层视为同一个自函子的两个代数之间的同态。自函子规定某种计算，例如群作用、列表折叠或自动机状态转移；每个代数都在特定数据上解释这一计算，而同态在保持结构的同时改变表示。群等变性——也就是几何深度学习——因此重新成为其中一个特例。
群作用使用单排序语法，因为每个变换都会把一种类型映射回自身。列表则需要多排序语法：包括0-元组、1-元组、2-元组，以及把其中元素打包进更长列表的操作，而且这些操作高度不可逆。它们的模型是可折叠类型或幺半群，这提供了一种分析递归计算的语义方式，而不必强行套入群的模板。
Dudzik 最尖锐的工程例子是进位。两个模10数字轮需要一种机制：当第一个数字从 9 跨到 0 时，让第二个数字前进；但仅凭状态变化，无法判断原因究竟是 +1、+11 还是 −9。连续的、通过梯度训练的 GNN 很难传递这一信息；他把这一几何问题与 Hopf fibration 联系起来，并追问它能否支撑进位，最终实现“在神经网络中实现真正的 CPU”。