摘要

机制可解释性如今已具备“原型范式”的原材料，尽管这个领域仍未形成共识。 Tom McGrath 的框架非常具体：神经网络包含可理解的特征；线性方向编码这些特征，大小承载强度；叠加让模型能够打包远超维度数量的概念；特征彼此连接形成回路。但这些基础并不能证明现有工具已经能够完整还原模型。
Goodfire 认为，算法是当前相对较软的瓶颈，同时坚持现有工具已经能够创造客户价值。 Tom 表示，检验标准是：这个领域能否从“一次100万美元的解释器模型训练运行”中提取价值100万美元的信息；如今它可以花掉这笔钱，却无法高效利用。Daniel Balsam 的商业表述更直接：SAE 是“模型的一扇窗”，而训练它“是工作的开始，而不是终点”。
稀疏自编码器正在改进，但未被还原的“暗物质”意味着不能把它们视为完整的模型审计工具。 JumpReLU、BatchTopK、端到端 SAE、Matryoshka 式分解及其他新方法都在改进或扩展 SAE，但一项规模化研究显示，还原曲线在达到99.99%或100%之前就开始弯折。缺失的方差可能来自记忆、高阶几何结构，或与输出无关的噪声；Tom 仍倾向于让解释器模型逼近实际上完美的还原。
科学发现是一个重要应用场景，因为高能力科学模型可能包含人类方法尚未发现的抽象结构。 Goodfire 与 Arc Institute 的合作已经找到了与已知基因组概念高度相关的特征，并正转向在 Evo 2 等模型中无监督搜索新的生物学信息。Dan 更进一步认为，即便是“数据中心里的天才”也可能偏好机制可解释性：在芯片上模拟物理系统，从学习到的计算中提取原理，再在湿实验前更好地筛选假设。
推理时护栏提供了一个清晰的近期企业应用场景。 提示词规则会变成“打地鼠”，1,000条规则会损害任务表现，前沿模型裁判又会增加一次昂贵调用，而小型分类器需要数据和机器学习专业能力。Goodfire 的方案是低成本监测模型的内部认知：当模型似乎正在处理个人身份信息（PII）或禁忌话题时，触发程序化响应；同时明确承认越狱及其他局限仍然存在。
创作控制有望把潜在理解转化为新的交互层，但更广义的多模态超级智能论仍有争议。 Paint with Ember 展示了对图像特征的直接操控，视频和音乐则提供更高价值的延伸，例如要求“让萨克斯独奏里的萨克斯再多一点”。Nathan 预计，整合约20种模态、其中许多涉及科学或自然世界领域的推理能力将产生超级智能；Dan 和 Tom 则警告，稀缺的奖励信号可能最终只会得到“穿着同一件风衣的两个模型”，而非真正的跨领域理解。
Goodfire 已融资5,000万美元，意在把可解释性发展为独立品类，而不是扩展实验室内部的附属功能。 Menlo Ventures 领投本轮，其中包括 Anthropic 的100万美元投资，Dan 称这是 Anthropic 的首次企业投资；主持人披露自己是种子轮投资人。这笔押注覆盖科学发现、护栏和创作工具，背后是 Dan 的判断：“可解释性和 AI 本身一样大。”

精读

1. 可解释性正在成为一门经验科学

Tom 的开场框架把模型视为可解释性的研究数据，与算力和算法并列，同时特别强调“极其丰富的经验数据”：检查激活、不断试验模型，但不对某一理论过度下注。这个领域仍然缺少“可解释性领域的 transformer”，更好的观测或许才是揭示缺失归纳偏置的关键。
“无假设”不等于没有假设。Tom 的意思是像观测星体的人那样工作：带着暂定假设，同时对意外结构保持开放；而 SAE 则嵌入了一个强架构主张，即特征本质上就是嵌入空间中的方向。
规模化主要是基础设施问题：一旦困难的平台工作完成，前沿模型实验就可以快速推进。Dan 补充说，如果没有无监督方法，可解释性无法扩展到超级智能；狭义上的超级智能科学模型已经存在，而它们的行为并不能被现有人类统计技术完全解释，因此自动生成假设不是可选项，而是必需品。

2. 算法是较软的瓶颈，但不完美的工具已经能够变现

Nathan 提出的拆解框架把算力和算法视为可能的约束。Dan 接受算法是较软的瓶颈：Goodfire“并不幻想自己已经破解了可解释性”，但现有技术已经能够帮助客户理解模型。
Tom 的实际检验标准是，研究人员能否有效花掉算力。他希望运行“一次100万美元的解释器模型训练运行”，并获得价值100万美元的信息；如今这个领域可以花掉这笔钱，但他不认为结果足以证明投入合理。
Dan 强调，交付一个 SAE 或其他解释器模型并不是成品：“那是工作的开始，而不是终点。”这个工具只提供有选择的可见性；实验、验证和领域解读，才会把可见性转化为有用知识。
显微镜类比把其中的假设明确化。数据集选择决定载玻片上放什么，损失函数相当于染色剂，SAE 的扩展因子决定镜头尺寸。早期生物学家用粗糙的切片建立了现代生物学；可解释性也可以在不断改进仪器的同时继续前进。

3. 更好的基础设施让研究人员不必再自己打磨镜片

Tom 把类比延伸到科学分工：早期研究者必须自己制作镜片，就像今天的可解释性团队仍在自行搭建 SAE 训练代码库。成熟领域应该让研究者“从 Zeiss 买镜片”，把精力集中在实验上，而不是重复建设基础设施。
因此，Nathan 对 GPT-2 与前沿模型的担忧无法单靠模型规模回答。没有基础设施，即便是小实验也很繁琐；有了合适的系统，大模型迭代会相对容易，但这些系统本身仍然很难构建。
Dan 预计，无监督可解释性会类似无监督预训练：“在突然变好之前，往往看起来更糟。”技术树上的每一个新节点都会解锁新的问题和实验，最终形成能够高效吸收大量算力的系统。

4. 每一次解释都必须跨越两道彼此独立的鸿沟

Tom 所说的第一道鸿沟，存在于原始模型与稀疏近似之间。重构损失直接表明 SAE 没有捕捉完整计算过程；改进可能来自更好的机器学习，也可能来自对什么才算“自然计算单元”的更好理解。
第二道鸿沟存在于学习到的特征与人类可读标签之间。一个特征可能在计算上真实存在，但描述它的标签是错的：干预并观察到意外结果，暴露的可能是错误标签，而不是错误分解。
当前的自动解释“还比较原始”。沿用 Nick Cammarata 开创的技术，前沿模型会接收特征激活时的示例，并被要求描述这些示例的共同点。这种方法有时有效，但使用的证据远少于人类研究者通常会考察的证据。
Tom 更丰富的工作流会引导模型操控特征，检查哪些内容投影进来，追踪它流向下游何处，再与相关特征进行比较。更好的脚手架或许能让前沿模型自动完成这类调查；回路也能提供更强的验证，因为一个被认为有意义的特征，应当参与到本身也合理的计算中。

5. 常规科学正在形成原型范式

Dan 的元观点是，几乎所有科学测量仪器都是还原性的。研究者会选择数据、变换方式和分辨率，同时知道这些假设并不完美；有效的回应是利用当前镜头、测试其边界，并行寻找更好的假设。
Tom 援引 Kuhn 那条不太受关注的经验：大多数知识来自“常规科学”，而不是科学革命。只有在研究者把某一范式推到足够极致、暴露其无法成立的边界之后，足以打破范式的异常才会出现。
因此，他将当前状态归类为“原型范式”，但对是否更进一步仍有所保留。已经有相当规模的群体共享必要的原材料，但可解释性尚未形成足以称为完整范式的全领域社会共识。
这段历史呈 U 形：早期连接主义研究会分析单个神经元，因为当时模型只有12个神经元；后来，神经元层面的分析变得不时髦，甚至被认为不可能；随后，可解释性借助能够处理更大系统的技术重新回归。

6. 新兴范式把特征、叠加与回路连接起来

它最底层的主张看似简单，却极其重要：“存在需要解释的东西。”在更弱的模型中，错误启发式和噪声更多，因此早期怀疑是合理的；没有还原出预期机制，可能意味着模型记住了任务，也可能意味着它从未学会研究者假定它学会的东西。
它在表征层面的主张是，特征可以合理地描述为线性可解码的方向，沿某一方向的大小代表强度。Tom 仍为高阶流形和子空间留下空间，但依然认为“穿过嵌入空间的线”是有用的基础词汇。
叠加解释了为什么一个拥有 d_model 大小空间的模型——比如4,096维——可以表示远超4,096个概念：特征向量彼此重叠，产生干扰和噪声，但模型仍能容忍。随后，这些特征跨层连接，形成回路。
基于权重的参数分解与基于激活的 SAE 不必是互斥的世界观。Tom 把网络视为一张巨大的因果图：激活提示节点，权重代表边，而可解释性要寻找的是一套同时需要二者的精简因果抽象。Lee Sharkey 的归因式参数分解与 Anthropic 的回路追踪工作，是通向这张图的互补路径。

7. 自底向上的解释是对齐的审计层

Nathan 将无监督发现与自顶向下的表征工程、围绕拒答等既定行为设计的回路切断工作进行对比。Dan 表示，它们解决的是不同的安全问题，但都可能为对齐作出贡献。
他的更强立场是认识论层面的：可解释性可能无法直接解决对齐，但它是判断另一种解决方案是否有效所需的“测量仪器”。例如，要评估思维链是否忠实反映计算过程，就需要建立关于模型实际行为的有意义因果图。
Dan 和 Tom 实际上承认：“我们可能通过自底向上的方法解决对齐，但也可能不是这样。”然而，如果缺少自底向上的可见性，他们看不到任何办法去确认另一种方法对齐的是底层计算，而不仅仅是表面行为。

8. SAE 工程正在攀登更优的损失前沿

基线 SAE 将 L1 稀疏正则化与 ReLU 激活结合起来，但 L1 会导致特征收缩，并可预期地损害重构效果。JumpReLU 和 BatchTopK 缓解了这些影响；端到端 SAE 不仅优化激活重构，还优化插入 SAE 后原始模型的表现。
更广义的字典学习家族还提供了梯度追踪、Matryoshka 等残差量化自编码器等方法。SPADE 是一种表达能力更强的稀疏自编码器方法。这些方法都在探索如何更有效地使用算力，同时以不同程度保留“应如何分解表征”这一核心问题。
Matryoshka 源于对“特征吸收”的观察。优化过程可能不会为以 A 开头的 token 生成一个特征，而是生成“以 A 开头且不是 aardvark”的特征，再单独生成一个 aardvark 特征，因为过度专门化会降低 L1 损失。
它的嵌套分组会先预测一次激活，再“沿着货架向上”逐步预测残差误差。Tom 更偏好显式树结构：一个特征触发时，会提高另一个特征的概率；但离散的层级采样比这种柔性、可微的构造更难优化。

9. 老一代字典学习研究可能藏着被忽视的超额收益

Tom 不认为所有看似借鉴的内容都是有意识引入的；研究者经常从第一性原理推导出一个想法，之后才发现已有相关工作。但稀疏自编码器和字典学习在21世纪初就是活跃的研究主题，因此当前领域显然正在重新发现其中一些技术。
他提出的“高 alpha 活动”异常简单：去读历史文献。2024 年 NeurIPS 的稀疏性教程明确排除了面向可解释性的稀疏性，这让 Tom 想到：“很好。现在我要学一些这个领域里没人知道的东西。”
更大的方法论启示与特征吸收相似：一个最初很边缘的观察——例如探测 token 以哪个字母开头——可以揭示系统性失效模式，进而推动新架构诞生。经验异常是算法设计的输入，而不只是好奇对象。

10. 最小描述长度提供了更高层次的目标函数

Michael Pearce 的最小描述长度研究把可解释性重新定义为压缩问题：好的解释应当用相对少的比特，准确传递模型行为。理想的比较不应分别追踪稀疏性和重构损失，而应询问：在同样准确的分解中，哪一种总描述更短。
一棵树可以胜过一袋互不相关的特征，因为一个分支的概率可以条件化编码在其主干之上。这将一种直觉形式化：部件之间的关系，比逐一独立枚举每个部件更容易描述。
跨层叠加提供了另一个例子：3个特定于层的特征，再加上它们含义相同这一陈述，所需描述比一个横跨3层的特征更长。因此，MDL 比较的是抽象层次，而不只是 BatchTopK 与 JumpReLU；Tom 预计二者的描述长度大致相近。
Nathan 假设某个 SAE 包含1,000万个潜变量，但一次前向传播只有100个被激活；然而，MDL 本身并不会输出某个具体的激活集规模。Tom 称它为“如果我们能优化它，理想的优化目标就是这个”；如何计算并直接优化真实描述长度，仍未解决。

11. “暗物质”意味着现有 SAE 无法重构一切

Josh Engels 及其合作者扩大了 SAE 分析规模，试图回答更多算力是否能在渐近意义上还原全部激活方差。他们报告的曲线发生弯折，而不是继续向99.99%或100%靠近，意味着存在一块规模可观的残余，他们称之为“暗物质”。
Tom 强调其中的不确定性：据他所知，这项实验尚未使用更新的技术重复。残余可能包含记忆，也可能包含线性特征难以处理的高阶表征结构，或者只是与输出无关的噪声；如果测量的是已恢复的损失，而不是未解释方差的比例，结论可能会不同。
这与语言模型损失不同。语料中可能存在相同前缀对应不同下一个 token 的情况，由此产生真实不确定性；transformer 架构还可能引入另一项不可约误差。预测不完美可以接受，但 Tom 仍“更希望”解释器模型达到实际上完美的重构。
Dan 补充说，任意加宽的 SAE 都可以通过把特征分配给特定数据集样本来降低误差。这种做法以牺牲一般抽象为代价，通过记忆换取保真度；同样的张力也说明，原始重构不能成为理解的充分定义。

12. 连续几何可能伪装成一袋启发式规则

Dan 的圆环例子显示，当底层几何结构与 SAE 的特征词汇不匹配时，分解就可能变得过度还原。Transformer 可以在一个圆环上编码一周中的日期，反映模7运算，但 SAE 可能只会分别找出周一到周日。
在这个例子中，两种描述似乎都能理解，但对其他抽象而言，离散版本可能会变得极度还原。模型可能实现的是连续结构或高阶结构，而稀疏特征字典把它展示成许多彼此分离的特征。
Dan 将这一警告延伸到模加法。已知构造使用三角函数运算，而 Anthropic 对 Claude 最新的 CLT 分析似乎揭示了相互重叠的启发式规则；模型可能确实在使用这些规则，也可能只是测量仪器无法展示底层连续函数。
Nathan 回忆了 grokking 实验：记忆大约在10²步时出现，而泛化要晚得多，在10⁵到10⁶步附近才出现——最后一个数量级包含了大部分训练时间区间。Tom 想要的解释器应当“在算法上保持中立”：干净的 grokking、半成品启发式规则和记忆，都应按它们共存的真实状态被揭示出来。

13. 特征标签形成的是光谱，而不是二元成败测试

Dan 的分类法从与外部输入模式有明确联系的特征开始，随后进入一个置信度不断下降的长尾。Goodfire 的 R1 工作发现了一些与普通语言模型特征在质性上不同的特征，它们似乎代表推理轨迹中的有意义阶段。
其他特征可能捕捉的是模型自身的算法，因此从即时输入或输出中不可见。上下文学习就是一个清晰例子：某种机制会整合上下文中的模式，但20个 token 的片段可能掩盖只有在20,000个 token 的窗口中才会显现的东西。
因此，自动解释会根据领域调整上下文。但拉远视角也无法解决一切：要求前沿模型解释全基因组激活时，它受限于训练数据中的解释，而科学研究恰恰是在寻找超越当前人类知识的抽象。
Dan 建议拆解任务：如果或许有10%的特征可以根据输入模式自动解释，那么领域专家就可以在许多上下文中调查剩余部分。Nathan 提议横向比较比如100个基因组；Dan 则强调，专家可能需要区分未知生物结构与内部计算机制，尽管两者都可能产生有科学价值的信息。

14. 科学模型可能把解释转化为发现

Goodfire 与 Arc Institute 已经找到了与已知基因组概念高度相关的特征，并正转向旨在揭示新信息的无监督技术。Dan 表示，合作正在推进，并希望“在不太遥远的未来”取得结果，但没有声称发现问题已经解决。
其底层前提是，一个真正实现泛化的模型必须学到了关于系统的某些有意义的东西，即使它同时记忆了其他部分。现有生物信息学注释也来自人类设计的算法，带有强先验且表现参差不齐；它们是有用的起点，但不是对庞大基因组的第一性原理解释。
Tom 不接受算法特征与现实世界特征之间的硬切分。牛顿定律并不物理地存在于物体中，但速度仍然是描述物体的强大抽象；同样，学习到的内部算法也可以追踪生物学中的真实结构。
Goodfire 当前的“窗口”或许无法揭示一切，但 Dan 认为它们已经足以开始检验重要假设。这项工作同时推进两条前沿：transformer 对基因组的建模，以及用来检查这些模型的可解释性工具。

15. 即使 AI 时间表极度激进，模拟优先的科学仍然成立

Dan 的“热辣观点”是，即便有“数据中心里的一群天才”，机制可解释性仍可能是首选科学方法。物理实验面临规范、物理及其他现实障碍；自回归基因组模型和基于扩散的材料模型，则可以在芯片上模拟世界的一部分。
解释过程随后从这些模拟中提取原理，为下一轮实验提供信息，并在湿实验之前提高证据门槛。Tom 总结了其中的时间表对冲：如果先进 AI 需要更长时间，机制可解释性有用；如果它很快到来，数据中心里的天才会做什么？“MechInterp。”
药物开发是 Dan 所举的低效样本：化合物被设计出来，往往失败或产生副作用；由于制造新药成本高昂，它们仍会被保留下来，直到被尝试用于其他适应症并最终奏效。他预计，即便 AGI 到来，只要更多实验没有转移到模拟环境中，这一昂贵的搜索过程仍会低效。
临床诊断还带来发现之外的第二个角色。一个家庭不能被告知 AI 误诊了某人，然后只得到一句“我不知道为什么”；调查者还需要判断，这个意外诊断究竟反映模型失效，还是此前未见过的疾病生物标志物。

16. 弱监督可能阻碍多模态超级智能

Nathan 的基准情景，是把当前推理能力与约20种深度整合的模态结合起来，其中许多涉及科学和自然世界领域；这会把 GPT-4o 或 Gemini Flash 中语言与图像的关系，扩展到基因组、蛋白质及其他物理领域。AlphaFold 等模型已经能够执行人类无法达到同等水平的任务；Nathan 预计，合成式外环训练可以把这些能力连接起来。
Dan 将“2年内出现数据中心里的天才”保留在其宽泛的时间分布中，但质疑实现机制。图像—语言任务拥有充足的配对数据和奖励信号；科学领域往往缺少足够的标注样本，也没有可靠的“把科学做好验证器”来教会模型深度跨模态推理。
他的对比是编程与代理能力：模型可以在 LeetCode 式任务中超过人类，却难以点 DoorDash，因为一个场景中的算法验证容易，另一个场景中的训练信号却很稀缺。科学整合会进一步放大这一问题。
Tom 追问，AI 目前是在经历追赶式增长，还是正在维持一条新轨迹。单个网络内部也可能存在“穿着同一件风衣的两个模型”——一组权重做量子化学，另一组做语言——如果没有配对监督强迫两种能力彼此产生实质作用，它们之间的交叉可能始终很浅。

17. 护栏可以监测认知，而不是堆叠规则

Goodfire 已将广泛的机会集合收缩到3个方向：科学发现、推理时护栏和创作模型。在企业安全领域，Dan 首先指出基于提示词控制的失败：不断增加“不要做这件事”的指令，会变成“打地鼠”，并损害主任务表现。
LLM-as-judge 系统把问题转移到另一次前沿模型调用上——“对实验室的钱包很好”，但对用户而言成本高昂。规则达到1,000条时，批处理仍会重现规模和性能问题；训练一个更小的护栏模型，又需要许多组织缺乏的数据集和专业能力。
Goodfire 的替代方案是在推理时低成本观察模型内部认知，并触发程序化动作。疑似接触 PII 时可以要求人工复核，涉及禁忌话题时则可以启动其他控制措施。Dan 明确保留边界：越狱和其他局限仍然存在，但实际部署仍能获得更快、更便宜的检查。

18. 创作控制与战略资本完成商业闭环

创作模型让特征变得格外直观，因为用户可以看到操控如何改变输出。Goodfire 刚刚推出的 Paint with Ember 工具展示了对图像模型特征的直接操控；Dan 预计，在视频和音乐这类编辑成本高昂的领域，价值会更加清晰，包括“让萨克斯独奏里的萨克斯再多一点”。
不存在适用于任意模型的通用界面。Goodfire 与开源研究者已经构建了一些有用的可视化工具，公司也在测试可能泛化到其他领域的生物学界面，但 Dan 反复回到具体问题，以及每一面镜头究竟能可靠揭示什么。
Goodfire 融资5,000万美元，由 Menlo Ventures 领投，其中包括 Anthropic 的100万美元投资，Dan 称其为 Anthropic 的首次企业投资。主持人披露自己参与了种子轮投资；公司计划同时为客户部署和基础性工作提供资金，并保持独立于任何扩展实验室。
招聘与客户的“蝙蝠信号”都围绕这3部分战略展开：希望逆向工程模型的科学家和工程师、训练科学模型的组织、寻求更可靠 LLM 生产系统的企业，以及希望获得新交互模式的创作模型开发者。Dan 最后的判断极为激进：“可解释性和 AI 本身一样大。”

E193｜吃益生菌是智商税吗？全面复盘肠道健康迷思 Xi Jinping 对 AGI、债务危机与政治局政治的偏执式治理——Victor Shih