AI 中的推理、鲁棒性与人类反馈——Max Bartolo（Cohere）

摘要

• 鲁棒性，而不是基准测试分数，是 Bartolo 衡量推理的标准。 Max Bartolo 认为，推理应当意味着稳健执行：如果模型在1,000次中有999次完成任务，却在一次简单任务上失败，这次失败就足以让人质疑其推理能力。「如果你有一台计算器」，却算错了一道小学加法题，「你会直接把它扔掉」。

• 模型内部证据削弱了 Bartolo 先前关于“表面推理主要是检索”的判断。 在约40个事实查询和约40个推理查询中，事实回答依赖少数包含答案的文档，而推理则受到大量编码相关程序的文档分散影响。经过严格匹配的控制问题呈现出截然不同的模式，构成「模型确实在进行某种形式推理」的强有力信号。

• 当风格可以伪装成正确性时，人类偏好是不安全的优化目标。 标注者偏好不拒答、格式、长度和自信语气，而事实性对总体评分的贡献出人意料地小。语气越自信，事实性反而越差，却越容易被判断为正确——这种激励结构会以牺牲企业客户看重的准确性为代价奖励表达风格。

• 模型可能不存在统一排名，因为偏好和使用场景会随用户群体变化。 PRISM 发现，在21个模型的排名中，根据提问和评判者的不同，模型名次可能上下浮动5位以上；早期 Command 模型对亚洲用户的相对表现也有所下滑。Bartolo 提出的替代方案是推理时个性化：用约100条持续演化的偏好样本来调节一个鲁棒模型，避免训练「70亿个 GPT-4」那样不可能的经济成本。

• 人在环路中的对抗数据，似乎能产生异常有价值的训练信号。 被要求击败模型的人，会生成比普通标注者更多样、隐含信息更丰富、也更贴近现实的问题；针对较弱系统收集的对抗样本，仍能改进更强系统。2019年的数据依然足够困难，能够帮助评估 Llama 3；Bartolo 称，在这项鲁棒性测试上，Llama 3 仍「离人类表现相当远」。

• 静态基准会快速贬值，既可能掩盖量化损伤，也可能夸大进展。 Bartolo 以 MNIST 从约8至10年缩短到 SQuAD 的1.5至2年为例；任务一旦达到100%，耗尽的可能是基准，而不是能力已经被解决。同样不完整的评估，还可能让一个量化100B模型以约35B模型的单 token 成本显得有吸引力，却漏掉其在推理、长程依赖或长上下文行为上的损失。

• 当用户可以为每项任务购买合适的可靠性时，测试时算力就具备商业价值。 Bartolo 设想，一个经过校准的模型在低风险任务上只要置信度达到60%就直接回答，但在关键答案仍存疑时延长思考并拒绝作答。他强调，当前模型「离」这一能力还很远，因此校准、可控性和诚实表达不确定性，比单纯生成更长的推理轨迹更重要。

精读

1. 预训练似乎教会模型程序，而不只是储存答案

• Bartolo 与 Laura Reese 开展影响函数研究时，原本预计模型会从「所有预训练信息的压缩版本」中进行检索。结果改变了他的看法：事实回答主要依赖少数包含答案的文档，而推理受到大量包含有用程序的文档分散影响。

• 实验覆盖约40个事实问题和另外40个推理查询。影响函数近似刻画单条训练样本如何影响模型行为，结果显示，推理的影响分布远比直接事实回忆更广泛。

• 一组匹配控制问题回应了“问题相似性导致结果相似”的明显质疑。通过点(2,2)和(3,3)计算斜率，需要选择并应用公式；「直线的斜率是1。直线的斜率是多少？」在词汇上相似，却只是重复答案。两者产生了截然不同的影响模式。

• 扩展研究需要近似曲率，而不是对每条样本分别重新训练，也无法直接计算庞大的逆 Hessian 矩阵。更有意思的是，7B和35B模型中的高影响力文档「几乎没有相关性」，这意味着不同规模的模型可能以不同方式学会同一种能力。

2. 只有经受探测，推理才配得上这个名字

• Bartolo 认为“推理”「多少有点被滥用」，也怀疑人类式内部认知是否是实际关键。下一个 token 预测模型已经能完成令人印象深刻的任务；从操作层面看，重要的是输入变化后行为能否继续保持正确。

• 对他而言，正确推理应当意味着鲁棒推理。如果模型1,000次中有999次正确应用斜率计算，却莫名其妙失败一次，这次失败就足以让人质疑其底层推理能力。

• Tim 提出的反驳值得保留：人类也会犯错，为什么要把推理视为非黑即白？Bartolo 的回答是，机器不会疲劳，而且软件遵循更高的可靠性标准：一台计算器如果把2加7算成17，立刻就会被扔掉。

• Bartolo 接受任务越复杂，允许的错误可以越多，但小学数学不应如此。在 GSM8K 得分约97%–98%的情况下，他怀疑剩余错误很大程度上可能是测试集噪声；下一步应让人类设计全新的小学题目，检验模型能否持续完成要求。

3. 分布式适应可以叠加在集中式基础模型之上

• Tim 通过 ARC 的「传导式主动微调」提出测试时训练：让共享模型适应某个具体情境，而不是完全依赖一个全球固定系统。他问，这是否会在 Cohere 等集中式供应商之外，形成更分布式的 AI 范式。

• Bartolo 预计，随着专业能力扩散，本地适应会增加。Cohere 的 Commander Plus 或 Commander 等模型可以从 Hugging Face 下载后继续微调，但实践者必须避免牺牲基础模型中的有用通用知识。

• 语言是人与模型之间的共同接口。如果模型帮助改进一个共享数据资源，Bartolo 认为，任何拥有足够知识和算力的人都可以据此训练模型，让参与者不再局限于最初的模型构建者。

• Tim 用软件举例，让这种接口变化变得具体：他把一个 Python 多智能体系统加载进 Open Interpreter，让其中的智能体展示各自接口，再通过对话操作数据库。不需要传统 UI；一个智能体本身就可以操纵另一个智能系统。Bartolo 的回应是：「可能性无穷。」

4. 对齐从一个尚未解决的问题开始：要对齐谁？

• Bartolo 认为安全防护不可妥协——AI 不应破坏环境、恶化社会或伤害人类——但「我们希望 AI 系统对齐什么？」仍未解决。不同人、不同情境下的人类诉求并不相同，而人类社会甚至尚未完全解决彼此之间的价值对齐。

• 「人类反馈不是黄金标准」一文质疑了 RLHF 一直使用的单一偏好分数。成对判断在早期带来了显著提升，但 Bartolo 说边际收益已经下降，而且其中很大一部分提升来自偏好的输出风格，往往还是由正在被优化的同一套人类偏好评估。

• 在一项实验中，独立小组标记具体错误，并以1至5分评价总体质量。拒答受到严厉惩罚；格式、风格和长度影响很大，而事实性排名出人意料地低，尽管企业客户最看重准确性和不重复。

• 更尖锐的结果来自要求模型听起来更自信的提示。随着自信程度从1升至5，感知错误率沿着拐点降至接近于零；但一份由「专家标注者」审阅、主要由 Tom 负责事实性核查的样本显示，自信语气生成的内容事实性更差。标注者却仍然认为它们更正确，并没有意识到自己受到了影响。

5. 个性化可能比单一平均偏好更便宜，也更贴近个人

• Tim 问，更细颗粒度的反馈是否最终会变成数千个属性。Bartolo 接受了这个思路，并提出推理时条件化：也许100个持续演化的数据点就能编码 Tim 的偏好，让一个鲁棒模型适应个人，而不必为每个人单独微调一个实例。

• Bartolo 以自己为例说明主观性：当被问到天空的颜色时，相比「天空的颜色是蓝色」，他更偏好直接回答「蓝色」，这反映了他的地中海文化背景偏好。大多数标注者可能偏好另一种表达；但任何一种风格都不是普遍适用的黄金标准。

• Hannah Kirk 领导的 PRISM 曾获 NeurIPS 最佳论文奖，研究了约1.5年间人口、文化、地域和语言因素的影响。对话主题也会变化：关于以色列—巴勒斯坦冲突的讨论，有不成比例的部分来自中东参与者，从而影响未来改进由哪些使用行为驱动。

• 在21个模型中，偏好排名会根据互动者不同上下浮动5位以上。Cohere 早期一代 Command 模型在多数情况下表现强劲，但对亚洲用户的相对表现下滑——这为改善模型究竟服务于谁提供了可执行信号。

6. 以人为本的对抗数据能更好代表现实变化

• Tim 提到非鲁棒特征——例如奇怪的蓝色像素与 Mercedes 相关——以区分正确输出和正确理由。Bartolo 认同，在高维空间判断特征很困难，但认为开发者可以控制输入和输出，暴露脆弱行为。

• 高斯图像噪声或同义词替换等合成扰动，往往教会模型击败生成噪声的函数，而不是真实世界的变化。因此 Bartolo 更偏好以人为本的对抗数据收集：让人们探测弱点，再把发现转化为训练数据。

• 他在2019年的 BDAI 工作比较了 BERT、RoBERTa 和更早的 BiDAF 系统。普通数据收集会产生「天空是什么颜色？」这类平淡问题。模型回答后，标注者必须进一步设计「云所在的那个东西是什么颜色？」——语言更隐含、更模糊，也更贴近现实。

• 问题变得不够具体时，数据质量有时会下降，但多样性、复杂度和鲁棒性都会上升。即使针对较弱模型收集的样本，也能改进更强模型；问答初创公司报告称，加入这套数据集后，现实世界收益尤其明显，超出基准测试上的提升。

7. 鲁棒性数据集可以跨模型世代持续产生价值

• Bartolo 反对模式积累的最强理由，是人类创造力没有边界：他可以用训练数据中不存在的表达，持续询问同一个语义问题。如果系统的表征真正鲁棒，「我不应该能够」把它搞糊涂。

• 对抗式问答后来被用于测试 Llama 3 系列，相关项目称为 Dynabench QA。尽管现代 LLM 在这项任务上远超2019年的系统，Bartolo 仍称它们「离人类表现相当远」，说明该测试仍能暴露一般性弱点。

• Dynabench 将这一流程制度化：先用初始数据集训练，让人类尝试击败模型，加入失败样本，再重新训练，随后要求标注者突破强化后的系统。每轮都会提高难度，直到欺骗模型变得异常困难。

• 该平台支持了仇恨言论检测、情感分析、PRISM 以及与 Common Crawl 合作改进预训练抓取等工作。随后，它在 Data-Centric Machine Learning Research Working Group 下归入 MLCommons 社区。

8. 基准必须和被测模型一样快速演进

• 静态基准为优秀研究者设定了明确目标，容易诱发 Goodhart 定律并快速饱和。Bartolo 回忆，MNIST 的周期约为8至10年，而 SQuAD 只有1.5至2年；随着领域发展，周期还在缩短。

• Dynabench 的第二个目的就是动态评估。如果今天的模型得分70%，后来的模型达到100%，Bartolo 提醒，这并不能证明模型具备普遍能力；它可能只是说明围绕昨日失败设计的评估已经触及上限。

• 仅因某个领域模型在 MMLU 或 Chatbot Arena 领先就选择它，就像根据小学考试决定让一个博士做外科手术。Bartolo 倾向于使用持续演化的应用特定评估，可能像教育体系一样组织：基础能力逐步组合成越来越专业的考试。

• DataPerf 通过 Dynabench 上的数据中心式挑战补充了这一理念。其出发点是，社区注意力已过度集中于算法、架构、硬件和资源，而训练数据的改进仍必须保持核心地位。

9. Cohere 的后训练节奏把基础模型变成了产品

• Bartolo 在 ChatGPT 发布前几周加入 Cohere，并组建了后训练团队。基础模型能力不弱，但遵循的是语料模式，而非指令：当被问「天空是什么颜色？」时，模型可能继续生成「草是什么颜色？」和「太阳是什么颜色？」。

• Cohere 搭建了一个简易的内部数据收集界面，并在不到2周内寻求10,000条提示—补全样本，最终员工提交量超过目标。这些数据带来了第一代指令跟随 Command，并进一步扩展到内部标注、供应商和合成生成。

• 随后，团队连续约52周几乎每周发布一个新的 Command Nightly。4或5个候选版本因内部指标没有改善或出现轻微回归而被搁置；用户甚至注意到了这些未发布版本，并询问模型是否发生变化。

• Command R 和 Command R+ 随后在4月发布。Bartolo 回忆，Cohere 在 Chatbot Arena 的供应商排名中位列第4，仅次于 Anthropic、OpenAI 和 Google，而团队当时已经转向下一代模型。

10. 效率提升只有在评估完整时才值得信任

• 量化可以带来颇具吸引力的短期交换：量化100B模型的单 token 成本可以达到35B模型的水平，同时表现可能更好；35B模型还可以进一步压缩，以节省更多成本。

• 隐性风险仍然在评估。一点点可测得的性能损失，可能掩盖高级推理、长程依赖或长上下文使用上的更大退化，而传统测试套件往往无法捕捉这些维度。

• Bartolo 看不到连接主义架构已经触及严重上限的直接证据。他举出的可修复限制是「故障 token」：分词器与训练之间的不匹配，导致某些 token 很少出现；权重衰减又缩小了它们的嵌入，使模型难以区分这些 token 的身份。

• LLM 的数据效率仍远低于人类，要消耗「许多辈子」的文本，但只要算力存在，这种做法就负担得起。模型还拥有独特的连续性优势：复制权重就能复现同一套压缩知识和能力，使持续预训练可能比反复从头开始更高效。

11. 长上下文是基础设施，不是吞入一切的理由

• Cohere 已从第一代的4K上下文扩展到当前模型的128K，但 Bartolo 表示，要在整个窗口内维持高性能仍然困难。大多数用户提示很短；价值主要出现在 RAG、多文档聚合、工具使用、持久对话和完整代码库处理上。

• 检索质量仍然重要，包括嵌入和重排性能。更长窗口决定模型能够有用地组合多少检索材料，但每增加一个 token 都会带来处理成本，即使缓存可以缓解这一问题。

• 持久对话也可以成为个性化状态：对话和累积反馈共同编码用户希望系统如何行动。这为应用创造了机会，而不只是宣传一个更大的上下文数字。

• Bartolo 不接受“无限上下文让检索变得多余”的说法。可以把所有现有数据都提供给模型，但「你想这么做吗？」让一个人先读完整个互联网，再回答天空的颜色，虽然可能，却低效且通常毫无意义。

12. 测试时算力应成为用户可控制的可靠性旋钮

• Bartolo 认为 ARC 是另一个有用挑战，而不是终点。问题解决后，评估应转向更贴近现实的问题：AI 应该做什么、应如何在社会中运行，以及现有能力如何造福人类。

• 他的团队正在探索比生成额外推理 token 更广义的测试时算力。产品问题在于，模型应如何在思考过程中与用户沟通，并允许用户定制延迟、算力、置信度和性能之间的关系。

• 对于低风险任务，用户可以说：「如果你至少有60%的把握，就给我答案。」适当校准意味着，在100个此类案例中，模型声称有60%置信度时，应大约有60次回答正确。

• 关键任务则需要相反的设置：「尽你所能地思考。如果你有任何理由怀疑答案是错的，就告诉我。」Bartolo 坦率地补充说，模型「离」可靠实现这一点还很远，但他认为可控算力和不确定性将是未来几年核心的人机交互问题。