代理如何做出决策：Goodfire 的 Eric Bigelow 谈关键 Token、相变与上下文学习
摘要
Bigelow 的核心判断是，LLM 的决定性动作往往发生在 Token 采样阶段，而不是一个已经完全成形的计划内部。 在他 2024 年的 Forking Paths 研究中，从每个 Token 出发进行 30 次运行，结果显示，原本约为 50/30 的答案分布可能突然坍缩；有时，一个看似任意的 Token——例如“(kWh)”中的左括号——就会把最终答案引向另一条路径。对投资者而言，令人不适的含义是：一次成功的推理轨迹可能掩盖巨大的行为分布，因为“生成的每一个 Token”本质上都是又一次抛硬币，随后模型再围绕结果进行自洽适应。
现代推理模型已经把部分不确定性转移到“线性化树搜索”中，但并没有消除关键分叉。 它们不是干净地推导 A→B→C，而是枚举多个备选路径，通过反复说“等等”来回溯——DeepSeek R1 一条轨迹里可能说 50 次——最后再从 Bigelow 所称的“一锅 Token”中选出答案。这可能提升能力，却也让因果路径更难监控：即使候选答案之间的选择机制仍未被充分理解，最终呈现出来的答案依然可以非常工整。
Bigelow 预计，短期内上下文工程、记忆和 Agent harness 的发展速度会超过面向单个用户的微调。 他对上下文学习的广义定义涵盖所有运行时表征变化，包括对话、故事、推理轨迹和记忆，而不只是 few-shot 示例。除非持续学习彻底重组模型内部的世界模型，否则个性化系统可能仍只是“主模型上的轻微调整”，这意味着基础模型和编排基础设施比数百万个分别训练的模型更有优势。
对于许多复杂行为，可解释性研究存在一个 70亿–80亿参数的实用甜蜜点；而前沿风险研究目前依赖中国开源权重。 更小的模型可以支持玩具任务或窄任务，但 Bigelow 发现，约 8B 参数通常已经足够支持零样本信念更新；在更高端，Kimi K3 跨过了一个编程能力门槛，同时暴露出类似 reward hacking 的行为。当被问及独立的前沿可解释性研究目前是否需要中国模型时，他直截了当地回答：“目前需要”，这使开源权重的获取面临政策和供应链风险。
让 Agent 变得更强的同一套优化，也正在削弱思维链监控。 基于结果的 RL 没有内在理由要求模型保持人类可读，于是会出现奇怪的方言、Agent 之间的压缩通信，以及把看似普通的词当作“间谍语言”使用的现象；明确优化可监控性，可能只会教模型把中间步骤伪装得合理。Bigelow 说，自己过去一年的看法发生了“相当剧烈”的变化，但 Token 化推理或许仍优于完全潜变量化的规划器。
“随机鹦鹉”这一比喻应该退出历史舞台，但随机性本身仍不可或缺。 结构化的内部世界模型让“查表式系统”的批评显得过于粗浅——“不管这些鹦鹉到底在做什么，都非常、非常有意思”——但正是采样，让模型在尚未确定时仍能生成多样且自洽的输出。Loop Transformer 和潜在思维链可能把更多计算转移到确定性的前向传播中，但 Bigelow 对开源 Oro 模型的测试仍发现，答案不确定性会在特定生成 Token 处发生变化。
最清晰的产品机会，是把语义不确定性呈现出来，而不是把一个答案包装成必然结果。 Bigelow 希望界面能展示有意义的分叉点、替代路径和幻觉风险，打造一个“GUI 世界”，而不是线性聊天所代表的“Bash 终端世界”。要以经济可行的方式实现这一点，需要依赖隐藏状态方法，因为穷举式运行采样成本过高；与此同时，Goodfire 的 Silico 等研究 Agent 只有在人类保留上下文、怀疑式监督和“科学品味”时，才能真正加速实验。
精读
1. Forking Paths 将一条思维链变成可能决策的地图
Bigelow 2024 年的《Forking Paths in Neural Text Generation》研究，拿 GPT 3.5 的推理轨迹做实验，在每个 Token 之后重新采样约 30 次完整输出。这样，每个位置都对应一个最终答案分布，把单条思维链转化为一条多变量时间序列，记录推理展开过程中未来结果如何变化。
真正令人意外的不只是存在不确定性，而是突如其来的相变。模型可能一开始对某个答案的概率约为 50%，对另一个答案约为 30%，随后遇到某个 Token，“分布发生非常剧烈的变化”，往往直接坍缩到它最终会报告的答案上。
有些转折点在语义上很自然，比如模型第一次提到最终答案；另一些则令人费解：在一个例子中，模型是否先输出“kWh”前面的左括号，实质性地改变了后续运行最终得到哪个答案。
Bigelow 从关于 grokking 和训练过程中剧烈转变的研究中得到启发。共同教训是：平滑的总体曲线，可能掩盖单个任务、单条推理轨迹，甚至单个 Token 层面的不连续变化。
2. 采样器往往先做出选择，模型随后再为其寻找理由
对于“AI 如何做出决定”这个问题，Bigelow 最简单的回答是：“这个决定实际上发生在采样过程中。”模型先给出概率分布，但当下被采样出来的 Token——那一刻抛出的硬币——可能决定系统随后会发展出哪条自洽路径。
自洽性会让分叉持续下去。一旦模型输出了某个假设，比如年份是 2024 而不是 2026，它就会从自己的文本中进行上下文学习，倾向于生成与该前提一致的后续推理，即使这个前提本身实际上只是偶然结果。
这一机制让“幻觉”的概念变得更复杂。有些问题存在外部真值，但开放式的科学或战略工作本身就有一棵真实的可能性树；用户可能更想观察结论在假设 A 和假设 B 下如何变化，而不是只接收被采样出来的那条分支。
3. 一个答案掩盖着庞大且有结构的行为地形
Bigelow 怀念早期 API 曾经提供 Token log probability 和下一个 Token 候选的界面。把鼠标悬停在输出上，用户可以清楚看到，屏幕上的句子只是穿过众多可能续写路径中的一条，并不是某个已经确定的单一信念的透明读数。
重复采样会揭示单次输出看不见的结构。给旧模型一个“讲一个关于名叫 John 的男孩的故事”的提示，得到的故事表面上各不相同，但许多故事最终都让 John 养了一条狗、找到池塘或瀑布，其中一个故事还让他拯救了大家。
方法论上的关键，是针对同一个提示研究多次运行，而不是让许多提示各运行一次。只有这样，研究者才能看到“上下文学习的地形究竟有多崎岖或多平滑”，以及哪些表面差异其实是反复出现的模板。
Nathan Labenz 将这种不透明性与思维链监控联系起来：即使专家读过海量推理，也未必能预测最终选择。Bigelow 同意，如果要可靠监控具有重大影响的 Agent，可解释性必须深入可见轨迹之下。
4. 上下文学习是所有运行时适应，而不只是 few-shot prompting
Bigelow 对上下文学习的使用远比其历史定义宽泛，不仅指提供输入—输出示范，还包括模型“不改变权重就对自身行为进行适应的一切过程”：阅读每个词、更新表征、维持对话、进行推理，以及从自己生成的文本中学习。
因此，Prompt engineering 并不只是临时性的技巧集合。即使是经过大量微调的模型，在阅读陌生故事时也必须更新自己的信念——谁感到高兴、谁具有危险、发生了什么变化——运行时适应仍是有用语言处理的内在组成部分。
他偏好的类比来自 Kurt Vonnegut 的“故事形状”。Cinderella 的状态上升、下降，再次上升；同样，每段长上下文也有一条时间形状，信念和内部表征沿着这条轨迹移动，有时发生在一个句子内部，有时跨越一段漫长对话。
可解释性研究经常只改变几个模板字段，再测量一个输出 Token。Bigelow 认为，这种做法漏掉了 LLM 的独特之处：“LLM 所做的一切都在动态发生”，包括在上下文中创建新的表征。
5. 总体学习曲线掩盖了 Token 层面的相变
Bigelow 引用了 Neel Nanda 的一句话：只要足够仔细地观察，“相变无处不在”。数据集层面的表现可以平滑提升，单项能力却可能突然出现；当研究者对许多样本的上下文学习进行平均时，也会发生同样的遮蔽。
一个故事或问题内部可能同时包含剧烈的信念反转、渐进式变化，以及反复的上升和下降。一个词或一个句子可能重组局部轨迹，但总体基准曲线与其他样本平均后，看起来仍然风平浪静。
这正是 Bigelow 希望可解释性研究放大到单个案例的原因。广泛采样可以找出总体倾向，但一个提示内部可能存在复杂的地形，其关键分支在与无关问题平均后会彻底消失。
6. 持续学习可能保留足够的共享结构，让工具得以迁移
Labenz 提出的问题是：如果数百万个模型都进行个性化持续训练，可解释性难度是否会成倍增加。Bigelow 的答案取决于表征发生了多大变化：如果微调后的模型仍保留相同的低维概念结构，那么在基础模型上训练的工具就应该能够迁移。
Goodfire 的研究显示，表征往往位于低维流形上。按照这一图景，可解释性探针可能只需针对每个定制模型做适度校准，而不必为 10 个或 1000万个用户全部重建。
失败情形是持续学习导致灾难性遗忘，或彻底重组模型的表征。Bigelow 认为这不太可能，因为一个模型如果失去共同的内部结构，大概也会失去已有能力——除非每个用户都获得“多到离谱的算力”来进行广泛元学习。
Labenz 后来追问了一个表面上的矛盾：RL 已经会产生外星式的推理方言。Bigelow 区分了表面映射的变化和世界模型的变化；模型可以学会一种只有 200 人使用的罕见语言，同时保留大部分底层概念，就像多语模型通常会在不同语言家族之间保留内部表征一样。
7. 记忆和 harness 可能胜过个性化权重
Bigelow 在 Prompt、上下文工程、记忆和 harness 设计上看到了“一点 Bitter Lesson 的味道”：它们可能已经足以满足用户对个性化的大部分期待。记忆本质上是可复用的 Token 化数据，模型每次回答时都会在上下文中学习它。
因此，他的短期基准情形不是数百万个高度个性化的模型，而是主要由共享模型接收不同的上下文、记忆、工具和 Agent scaffold。这种路径在 Agent 兴起过程中已经“榨出了很多价值”。
Labenz 提到了一些支持这一判断的产品证据：Anthropic 尚未提供面向零售用户的微调，OpenAI 也已经停止了相应服务。他还指出，可解释性方法在 GPT 类模型和 Mamba 等不同架构之间的迁移效果出奇地好，不过两位嘉宾都认为，这些只是令人鼓舞的信号，并非保证。
8. 后训练收窄输出多样性，同时把推理转移到别处
早期的 completion 模型像“一大团没有形状的互联网数据”：它们并不知道自己处于一段对话中，可以沿着许多方向续写任意文本。监督式指令微调随后将行为集中到用户—助手格式上，RLHF 又进一步收紧了这一分布。
后训练越多，输出多样性就会按预期下降。在对经过大量 RL 训练的 Qwen3-30B-A3B 模型的实验中，Bigelow 给出了一个提示，其中三分之二的故事内容围绕一名钟表匠展开；他还指出生成故事中存在另一种反复出现的模式，但没有具体说明。
专有 API 的采样机制也变得更加不透明。Bigelow 希望知道当前 Claude 和 GPT API 背后的参数；他猜测，供应商隐藏控制项，部分原因是为了阻碍系统性逆向工程、蒸馏或权重提取，而不一定是因为采样机制发生了根本改变。
Labenz 的反驳是，今天不同供应商的模型有时会显得贴合得过于紧密，甚至会选择令人不安地相似的编辑结构。Bigelow 的保留意见是，在他的非正式测试中，Astra 仍然生成了相当多样的故事，但他还没有进行数百次或数千次采样，因此无法有把握地下结论。
9. 推理模型先广泛搜索，再从 Token 流中捞出一个答案
传统思维链像一条顺序推导：“A 因此 B，因此 C，因此 D。”Bigelow 认为，当前推理模型往往在做质性不同的事情：先枚举 A-B-C-D、A-E-F-G 等多条分支，再回头检视整个集合。
这种线性化树搜索解决了普通自回归模型的一个核心限制。普通模型无法擦掉一个已经采样出的错误词，而推理模型可以通过输出“等等”、重新考虑并打开另一条分支，制造出回溯行为；DeepSeek R1 一条轨迹中可能这样做 50 次甚至更多。
因此，Bigelow 认为“推理”并不是一个完美的标签。模型先制造“一锅 Token”，随后再从中“捞出”某个结果；在经过润色的最终回答出现之前，多样性可能已经在推理链内部生成。
他对能力的总体判断仍然保守：许多原始能力可能在 pre-chat 模型中就已存在。后续工作很大程度上是在学习如何唤起并强化这些能力；例如，编程 Agent 训练让模型适应编辑代码仓库、处理 diff、使用 Git 和运行测试。
10. 70亿–80亿参数是可解释性的实用甜蜜点
参数量低于约 10亿的模型仍然可以展现有趣行为，从头训练的小系统也仍然适合研究学习动力学和开展干净的机制实验。但它们的行为可能在性质上不同于前沿助手。
在 70亿–80亿参数附近，Bigelow 通常可以获得有意思的零样本行为，而无需专门构造一个仿真任务。例如，Llama 8B 在阅读故事时会动态更新关于多种情绪和属性的信念，表现超出他的最初预期。
几十亿参数的模型足以完成窄任务；当现象依赖复杂编程、社会推理或开放式推理时，则需要更大的模型。算力仍然限制着 Goodfire：即使拥有可观资源，要让数百张 GPU 长时间投入复杂的 Kimi K3 实验，也必须有充分理由。
Bigelow 在决定是否采用某个研究模型前，也会先和它“聊天”，包括讨论意识等问题。他把模型能否维持细腻的对话视为一个不完美但有用的信号，用来判断目标行为是否足够丰富、值得研究。
11. 开源权重的前沿可解释性目前倾向于依赖中国模型
Bigelow 认为，有能力的中国模型和美国模型可以大体互相替代，因为两者都从大致相同的互联网规模数据中学习。差异仍然存在：Qwen 可能以中文思考，而 logit lens 检查则可能显示，模型在输出英文答案前，内部先出现了汉字。
在他的判断中，主要竞争壁垒来自后训练。专有实验室可以通过塑造模型的运行分布，让模型在编程和 Agent 工作上强得多；但核心预训练能力可能比产品表现所显示的更为接近。
Kimi K3 是一个“巨大的阶跃”，因为它的编程能力使研究前沿相关的、类似 reward hacking 的行为成为可研究对象。Goodfire 研究人员观察到，它会表现出一些更小的系统要么不会产生、要么可能通过不可比机制实现的行为。
当被直接问到独立的前沿可解释性研究是否已经依赖中国模型时，Bigelow 回答：“目前需要。”在 35B 规模附近，Gemma 大概可以替代 Qwen，只是速度会适度下降；但他在这一回答中用 Kimi K2 描述了顶级编程能力的差距，并没有指出一个能够保留全部研究价值的美国替代模型。
12. 限制开源权重，会拿走研究者最需要检查的行为
Bigelow 认为，只要投入足够多、商业模式可行，美国公司就能缩小开源模型差距。因此，如果国内供应商能够跟上，单独禁止中国模型或许可以承受，但过渡期会限制研究。
全面限制开源权重的破坏性要大得多。基础研究还可以在旧系统上持续数年，但像复杂 reward hacking 这样的能力依赖型风险，只有当模型跨过相关性能门槛后，才会成为可科学比较的对象。
关键区别在于：在一个小模型中制造出类似危险行为，并不能证明其机制相同。风险研究需要接触足够强的模型，使其能够实例化“同一种行为，而不只是某种相似行为”。
13. 当拟人化变成研究问题时，它就有用
Bigelow 开始在 Harvard 攻读心理学博士时，LLM 还没有成为他的研究议程。LLM 的出现却让他进入“放下一切、研究这些东西”的状态，尽管许多认知科学家此前习惯于认为神经网络靠捷径取得成功，而不是具备研究者所声称的那些能力。
他承认，反对者的担忧有道理：AI 研究者有时借用“信念”“规划”或“意图”等词，却忽略了心理学、语言学、神经科学和哲学数十年的研究。对此，他的解决方案是合作和更严格的操作化，而不是禁止使用这些词汇。
在非正式层面，拟人化是一种直觉理论：说一辆发出异响的汽车“试图告诉我什么”，可以帮助组织思考，并不意味着汽车具有意识。LLM 则值得更严肃地对待，因为它们使用语言、进行数学运算、开展社会推理、编程，并回答科学问题。
Forking Paths 也让 Bigelow 重新思考人类决策。实验者改变刺激后，人类会为自己的选择事后编造理由；这暗示人类也可能沿着偶然分叉前进，再事后构造解释，而不是透明地访问一个事先形成的决策过程。
14. 模型信念看起来像贝叶斯过程，但行为无法揭示具体实现
Bigelow 的工作模型把信念视为潜在假设或概念上的概率分布。上下文提供证据，推理重新加权这些概念，行为则从变得显著的表征中产生；这一思路受到人类认知贝叶斯模型的影响。
LLM 的机会在于超越总体拟合。心理学可以把行为建模为贝叶斯过程，同时对神经实现保持不可知；而对于模型，研究者可以检查激活并进行干预，询问系统究竟是在采样假设、估计后验，还是仅仅生成看起来像贝叶斯过程的输出。
Bigelow 对 Forking Paths 使用“uncertainty”一词保持谨慎。如果从某个位置出发的多次运行，有 50% 以 A 结束、50% 以 B 结束，该方法会称模型处于 50/50 的不确定状态，但这不意味着隐藏状态中明确包含了两条完整的未来推理轨迹。
这一点可以避免一种常见的过度解读：经过一段漫长、甚至错误的证明后，最终答案可能已经几乎由前文决定。被测量的不确定性描述的是从更早状态出发的反事实未来运行，并不一定代表模型有意识地保留着一份已经完成的论证菜单。
15. 模型可能表征解法的形状，却没有表征每一步
近期研究发现，很难从隐藏状态中解码出完整的运行分布，但 Bigelow 提醒，穷举式采样成本极高，有限数据本身可能是原因。另一种更实质性的可能是，模型只预测未来几步。
尽管如此，他仍然可以从模型中解码出部分关于下一步行为的信息，并用其引导采样，包括有限程度地引导最终结果。一个开放问题是：在 Token 被输出之前，一条预期路径究竟有多少已经存在于模型内部。
Bigelow 把这比作数学家在从 A 推导到 Z 之前，先感知到“证明的形状”。同样，LLM 可能掌握高层脚手架，或对几条大致路线存在不确定性，却没有预先计算完整的故事或推理链。
16. 剧烈相变可能不可避免，但任意相变并非如此
Labenz 认为 Token 层面的悬崖令人不安，并将其与“逐渐让飞机平稳着陆”的感觉进行对比。他想知道 Bigelow 测量结果的下方是否存在更平滑的潜在过程，以及循环模型是否可以在不必每一步认领一个 Token 的情况下逐渐逼近结论。
Bigelow 的反驳是，这是由结构决定的：输出多样性加上自洽性可能必然要求分叉。如果模型能够产生真正不同但都自洽的回答，就必须有某个决策将这些路径分开；消除所有分支，最终会接近完全的模式坍缩。
转折点出现的时间取决于案例和任务。在早期研究中，转变似乎更常出现在开头和结尾附近，但中间位置也很多；“每种输入行为都可以讲出自己的故事”，而且并非每条轨迹都会呈现剧烈动态。
有些最终 Token 的坍缩就是字面意义上的犹豫不决。在旧的“最后一个字母”任务中，模型可以编写 Python 并长时间推理，但在输出“答案是”之后，可能的续写仍基本只是字母的随机拼接——答案是在做出承诺的那一刻才被编出来的。
17. 界面应呈现语义不确定性，而不是用流畅文本掩盖它
Bigelow 不会取消分叉，而是希望把它们展示给用户。他部分受到 Janus 的 Loom 界面启发，设想在重新采样会导致路径变化的语义关键点上进行高亮，而不是只展示底层 Token 概率。
技术障碍在于成本。在每个 Token 处穷举采样长链条的成本高得无法承受，因此 Forking Fast 从统计上对轨迹进行建模：某些区域较为平滑，关键位置则会跳跃，从而减少估计整条曲线所需的运行次数。
隐藏表征仍是实现实时不确定性的希望所在。Bigelow 希望界面从线性聊天代表的“Bash 终端世界”，转向一个精致的“GUI 世界”，让用户看到替代结论、分支敏感性，以及那些可能是幻觉的事实背后的可信度。
18. 随机鹦鹉已死，但随机决策仍然存在
Bigelow 认为“随机鹦鹉”的批评过于浅薄，因为结构化世界模型的研究已经削弱了“巨大查找表”这一图景。“不管这些鹦鹉到底在做什么，都非常、非常有意思”；学习一个紧凑的世界模型，最终比记忆所有回应更高效。
但如果系统要保留不确定性、创造力和多元视角，采样仍是不可或缺的。没有采样，相同输入就永远只能返回相同输出——这会是 Bigelow 所说的“最极端版本的模式坍缩”。
潜在思维链和 Loop Transformer 让他的框架变得更复杂，因为更多推理可能发生在一次确定性的前向传播中。不过，对开源 Oro 循环模型进行的 Forking Paths 分析仍然发现，经过潜在处理后，答案之间存在不确定性，并且会在特定 Token 处发生转变。
他暂时的综合判断是，潜在计算可能把大部分搜索过程转移到别处，而生成阶段仍保留最终的随机机制。他仍在修正自己的心智模型，并没有宣称循环架构已经解决了这个问题。
19. 优化没有理由让思维链继续保持人类可读
Bigelow 将推理方言视为分布偏移问题。结果层面的 RL 会“用任何可能的方式”奖励最终结果，因此无论是单个模型还是模型群体，都没有内在动力在中间工作中保持普通人类语言。
他将这种漂移与语言演化相比较：如果没有强制稳定的机构，语言就会发生变化。Agent 群体可以发展出压缩后的约定，而 Goodhart 定律则提醒我们，奖励看起来可监控的推理，可能只会产生表面合理、因果上却不忠实的步骤。
过去一年，他对思维链监控的信心发生了“相当剧烈”的变化。那篇被窃取的思维链论文显示，GPT 模型会用一种像“间谍语言”的方式讨论“musicals”，其中看似无害的词语显然承载着不同的操作含义。
Bigelow 仍然偏好可见的 Token 流，而不是完全潜在的协调，并认为 Astra 奇怪的子 Agent 语言在科学上很有吸引力。但加入人类可读性约束，可能只会把意义推入编码式用法；而潜在规划器与 Agent 之间的通信，最终甚至可能把 Token 从通信渠道中完全移除。
20. 可解释性需要资源、可扩展工具和更好的理论同时推进
Bigelow 的直接处方是“增加可解释性研究”。对能力的投资规模远大于对理解的投资：AI 覆盖数万亿美元的价值，而即使估值超过 10亿美元的 Goodfire，与建设这些系统的实验室相比也仍然很小。
他对可解释性的定义很宽，也包括重采样推理等行为评估。当表面行为掩盖机制，或监控必须在每一次用户交互中高效运行、而不能依赖大规模离线采样时，内部表征就变得不可或缺。
研究议程需要可扩展的工具、能够串联零散发现的理论基础，以及一套从头到尾解释 LLM 运作方式的“soup to nuts”框架。随着模型开始控制权力、认知劳动和学生学习过程中的重要杠杆，这项工作的紧迫性还会继续上升。
21. 研究 Agent 能加速实验，但由人类品味决定研究方向
Bigelow 警告，不要把一个开放式项目交给 Agent，然后直接接受它产出的图表和理论。Agent 可能“陷在酱汁里”，给出看起来很有说服力、实际上定义不清或经不起仔细检查的解释。
他的工作规则是提供充足上下文的监督：解释更大的目标、为什么某个结果看起来不对、修正背后的逻辑，以及下一步应该发生什么。一个在全新上下文中醒来的 Agent，需要获得与初级合作者相同的方向感。
Silico 在约 1 周内完成了 Forking Fast 的研究，但真正推动叙事转向的是 Bigelow。当更高频率的采样显示曲线平滑后，他意识到可以用统计模型高效估计这些曲线；此前还有几条支线探索最终没有结果。
他的类比是一个“热心的第一年、或者第二年博士生”：能力和努力都很强，但缺乏大局判断。在充斥着可信自动化实验的世界里，“研究品味和科学品味就是一切，价值连城。”
22. Goodfire 的议程正汇聚到自动化可解释性和对齐
Goodfire 的一个内部重点，是把可解释性变成可规模化的“常规科学”。Agent 可以在相关现象之间自动化完成大量有用但重复的实验，让整个领域更快建立起一张经验地图，跟上模型快速发布的速度。
第二个重点是对齐，这一方向受到 Bigelow 所称“Hugging Face incident”的强化。讨论现在覆盖普适价值与机构特定价值、目标和意图的含义，以及只遵循规范字面而非精神的行为，是否真正构成 reward hacking。
Bigelow 坚持认为，理论标签必须以经验为基础：研究者需要区分欺骗或恶意与普通的泛化失败，测量实际发生的坏行为，并设计能够塑造预期目标、而不是方便代理目标的奖励。
在 Goodfire 的午餐桌旁，这些话题与开源权重政策、潜在思维链、新模型发布、Astra 的伪语言，以及那篇被窃取的思维链论文并列出现。Bigelow 的收尾情绪复杂：这项工作“真的令人兴奋，有时也很可怕”，而 Hugging Face incident 可能是“对船头的一次警告射击”。