Transformer 需要戴眼镜！[Federico Barbero]

摘要

• 长上下文并不保证 token 级保真：Federico Barbero 认为，因果 Transformer 最终会把不同的长序列映射成过于接近的表示，有限精度硬件无法将它们区分。 在最尖锐的测试中，Gemini 最终输出了 1，而不是从一长串 1 中复制末尾的 0。因此，仅有超大的上下文窗口，并不能证明模型能在窗口边缘可靠复制。

• 尽管 next-token 训练教会模型偏好较新的 token，因果注意力在机制上却偏向序列开头。 较早的 token 在下三角注意力拓扑中拥有更多传播路径；末尾 token 只有在强烈关注自身时才能存活。Barbero 对 U 形检索曲线的总结很简洁：Transformer 在机制上擅长处理开头，训练后学会关注结尾，而“中间不知怎么就丢了”。

• 量化会把渐进式的表示退化变成被迫发生的错误。 一旦两个末层表示之间的距离低于所选数值格式的分辨率，包括 FP6 或 4-bit quantization 在内的激进量化就可能令它们无法区分，其中一个答案必然出错。这对推理构成直接风险：复制“是非常基础的能力”，包括模型必须把精确数值传给工具时。

• 计数失败看起来更像启发式模式匹配，而不是算法执行。 当被要求对长度从 5 到 200 的重复 1 求和时，模型在约 20 之前表现正常，随后输出与增量不一致的数值，最终在 100 处形成明显的众数。将 chain of thought 拆成每组 5 个也同样偏离，印证了文中所引的“启发式大杂烩”框架：贴合训练数据的捷径在分布外可能泛化得“极其糟糕”。

• 今天的大模型可能正在动用大量容量，对抗注意力机制的收缩。 残差连接、MLP 扩张、窗口注意力、对角线 head，以及关注近零范数起始 token 的 head，都能保留信息或执行昂贵的空操作。Barbero 认为，追问模型为何学会“二次方级空操作”，既能揭示架构线索，也可能带来压缩机会。

• 形式上的表达能力结论并没有消除实际限制，因为许多结果假设 hard attention 或 average-hard attention，另一些则允许 memory 或精度随序列长度增长。 无限精度可以避开这种特定的表示坍缩；而部署中的精度“就是现有的精度”。Barbero 强调的是可测量的量——实际内部表示之间的距离——而不只是证明理想化 Transformer 能表达某种语言的构造性结论。

• Barbero 最终倾向于一种由语言模型编排专用组件的混合系统，同时质疑 reasoning 与记忆型启发式之间是否存在清晰边界。 可替换的数学、国际象棋、视觉，甚至基于 RNN 的计数模块，可以补足 Transformer 的能力，但系统整合仍极其困难。他更深层的标准是实用主义：机器应发挥计算机的优势，避免低级算术和概念错误，并利用学习到的压缩形成概念，再从中产生看似具有创造性的跳跃。

精读

1. 一个靠后的 token，可能在长上下文中消失

• Barbero 的构造比较了不断增长的序列：它们的正确答案只因其中一个多了一个末尾 token 而不同。随着长度增加，末层、末 token 的表示逐渐收敛；有限精度会把它们映射成同一个值，“其中一个必然包含错误”。

• 决定性例子不是复杂算术，而是复制：给模型一长串 1，末尾接一个 0，再让它输出最后一个元素。人只需看一眼，但 Gemini 最终输出了 1，而不是复制末尾的 0。与计数不同，这本应是极易泛化的操作。

• 论文测量两个末端表示之间的范数距离，并研究它如何无限逼近 epsilon。Barbero 看重这一诊断指标，是因为它识别出了真实 Transformer 内部一个与失败同步变化的量，而不只是证明某个抽象架构理论上能够表达这项任务。

2. 因果拓扑偏向开头，训练机制偏向结尾

• 因果 mask 使注意力呈下三角结构：每个位置只能向后看，不能向前看。它支持高效的自回归训练，不同于 BERT 等双向系统；但 Barbero 认为，这一工程选择也决定了信息能够如何传播。

• 早期 token 可以通过多条路径穿过层，抵达预测位置。末尾 token 基本只有一条保留路径——关注自身——因此要维持它的强度，就必须消耗原本可以用来读取上下文的注意力权重：“如果你想让末尾 token 存活，就不可能同时让它充分关注其他所有 token。”

• 主持人提出的 recency 反驳很关键：部署中的模型往往更容易记住近期内容，而不是早期内容。Barbero 将机制与训练动态分开：拓扑保留开头，next-token prediction 通常奖励邻近上下文，并训练注意力转向结尾。

• 这种冲突为“中间丢失”提供了一个机制解释。模型在结构上得到开头的优势，在行为上针对结尾进行了优化；中间既没有结构优势，也没有训练优势，于是形成了观察到的 U 形检索曲线。

3. 图论将信息损失转化为可处理的机制

• Barbero 对这一问题的切入点来自图神经网络：信息传播可以与谱图理论、随机游走和热扩散联系起来。图卷积网络可以被视为图上的离散化热方程，因此节点之间的敏感性能够进行数学分析。

• 有用的量是 commute time：从一个节点出发，预计需要进行多少次随机游走才能抵达另一个节点并返回？改变图的连接方式，就会改变这一时间，进而改变图网络让两段远距离信息相互通信的难易程度。

• 因果 Transformer 具备足够的拓扑结构，可以引入这套工具。在忽略非线性贡献的简化假设下，反复应用三角注意力矩阵，会留下一个等于 1 的特征值，而其余特征值衰减到 1 以下；在极限情况下，幸存的信息会指向初始 token。

• Barbero 还引用了一篇安全论文：重复 token 最终会让输出变成序列起始 token。他认为这与同一机制相符，同时也承认理论分析采用了较多宽泛的简化假设。

4. 长上下文模型靠扩张、空操作和选择性注意力存活

• 主持人最有力的挑战是经验事实：如今的模型可以接受约 200万 token 的上下文，却没有出现明显的整体崩溃。Barbero 的诚实回答是，“总得有人打开这些模型，弄清楚里面发生了什么”；从谱分析看，单独的注意力应当收缩，但完整系统中存在抵消这一趋势的机制。

• 残差连接保留早期状态，MLP 则可以扩张被注意力削弱的信号。如果注意力以约 1/100 的强度复制 100 个项目，MLP 可以把结果重新放大；不过，layer normalization 会让这种简单的收缩—扩张图景变得复杂。

• 更长上下文的架构也可能采用窗口化或交替注意力，实际上限制一次需要混合的信息量。Barbero 认为，根本问题是把大量信息装进有限 bit，因此一种可能的解法是压缩信息，让模型只需要关心更少的内容。

• 主持人提到 Llama 和 Gemma：其中许多 head 似乎在执行对角线空操作，或关注一个范数接近 0 的序列起始表示。Barbero 认为，Razvan Pascanu 可能会把大量 head 解释为探索性多样性：初始化时提供许多路径，随后不必要的 head 逐渐关闭。Barbero 则看到了压缩这些“昂贵空操作”的潜在节省空间。

5. 精度、tokenization 和 prompting 会改变失败何时出现

• 数值精度构成了硬边界。重度量化可能把在更高精度下仍可区分的序列合并，令柔性的保真损失变成无法避免的错误。主持人援引 Roon 的说法追问其含义：frontier model 在被压缩到 4-bit precision 前，已经难以稳定复制或计数超过约 100 个元素。

• 收敛速度取决于输入。空格可能决定 tokenizer 是否识别出新 token；序列熵也会产生影响；甚至特定数字也会改变表示坍缩的速度——Barbero 提到，像 9 这样更大的数字往往会产生更大的幅度。

• 在以 1 为主的序列中交错加入更多 0，会提高模型恢复末尾 0 的概率，因为新增的 0 抵消了 1 对表示的支配。更有启发性的结果是，复制第一个 token 似乎比复制最后一个容易得多，这与路径数量和偏导数上的预期不对称一致。

• chain of thought 并没有恢复算法。即使把重复加法拆成每组 5 个，过程仍会逐渐漂移成胡言乱语；在对 5 到 200 个 1 求和时，输出最终聚集在 100。Barbero 的判断带有保留，但指向明确：模型“可能并不是在机械计数”，100 只是大数求和时一个看起来合理的学习答案。

6. 理论上有表达能力，不等于有限精度部署中可靠

• 许多关于 Transformer 表达能力的形式化构造假设 hard attention——权重严格为 0 或 1；其中一些将其放宽为 average-hard attention，即把权重 (1/k) 分配给一组 (k) 个 token。另一些构造则允许 memory 或精度随序列长度增长；粗略来说，可用 memory 取决于 hidden dimension、浮点精度和 token 数量。

• 这些假设解释了为什么无限精度 RNN 的结果，可以与真实系统中的坍缩并存。在无限精度下，任意接近的状态仍然可区分；而在硬件上，“精度就是现有的精度”，因此表示距离最终会跨过一个具体阈值。

• 主持人还提到围绕 RASP 的一个猜想：由 Transformer 兼容操作组成的短程序，可能更容易被模型学习并泛化。Barbero 将这种构造性路径视为互补方案，但强调他的结果提供了更具操作性的东西：测量内部距离，观察失败机制实际发生。

• Barbero 还指出，有证据表明，仅仅重新排列一阶逻辑蕴含链，就可能显著改变模型是否成功。因此他倾向于混合系统：由一个固定的语言模型负责编排，配合可替换的国际象棋、数学、视觉或基于 RNN 的模块；但他说，设计这些模块之间的交互极其困难，可能正是这类组合并不常见的原因。

7. Reasoning 可能是压缩加搜索，而非一种可清晰分离的能力

• Barbero 称 reasoning “定义得非常模糊”。一个正确的计算机程序可以无限泛化，并接受形式化验证，但这是否构成 reasoning 并不清楚；反过来，即便人类知道如何排序数组，也很可能会在面对包含 100万 个元素的数组时出错。他理想中的系统，应避免低级算术错误和概念错误，同时充分发挥机器的优势。

• 主持人把 intelligence 定义为获取知识的效率，并将启发式国际象棋引擎与 AlphaZero 的新颖性进行对比。Barbero 不接受这种区分：两者都在进行树搜索，只是采用了不同的评估启发式；AlphaZero 的创造力可能只是因为它的引导方式“未必与人类的思考方式对齐”。

• 他的国际象棋例子把压缩讲得很具体。顶尖棋手重建真实对局中的局面，远胜业余棋手；但面对随机摆放的棋子，这一优势就会消失。熟悉的结构——例如兵位于 f7、g6、h7，象位于 g7，并且已经王车易位——会被压缩成一个 chunk，而不是多个相互独立的事实。

• 灵感只有在这种压缩后的表示形成之后才会出现。他提到专注、睡眠、健康和持续投入，认为这些是偶尔出现“万事豁然贯通”时刻的条件，而且每一步都会建立在上一步之上。主持人最后用“epistemic foraging”概括了这一想法：长期经验会不断扩大可调用的知识云。