Goodfire AI 的押注：可解释性将成为模型设计的下一前沿——Myra Deng 与 Mark Bissell

摘要

• Goodfire 正将可解释性定位为前沿 AI 的控制层，并以 1.5亿美元 B轮融资和 12.5亿美元估值为支撑。 公司的职责已超越解释已经完成的模型，延伸至训练、定制和部署全流程中的内部表征利用，其目标是建立一门围绕“非黑箱方法”的“深度学习科学”。

• Rakuten 提供了最清晰的证据，说明可解释性已经从研究跨入生产基础设施。 Goodfire 每日监测英语和日语查询中的 PII，在请求抵达下游模型供应商前，精准清除敏感 token。轻量探针几乎不增加延迟；当隐私限制迫使团队使用噪声合成数据训练时，基于 SAE 的特征展现出异常强的泛化能力。

• 实时操控如今已能运行在 Kimi K2 上——这是一个部署于 8块H100 上的万亿参数模型。 Goodfire 在第 20、30、40 层激活特征 43,205，让模型在调试 SGLang 时转用 Gen Z 俚语——“哥们儿，这代码库确实大得离谱”（“Dude, this codebase is massive for real”）——同时没有破坏工具调用。值得投资者关注的问题是，今天的风格旋钮能否成为明天控制推理和领域专长的高效手段。

• Goodfire 的研究议程由可解释性方法在真实运营指标面前失效的场景塑造。 在幻觉、有害意图和 PII 检测上，原始激活探针有时胜过稀疏自编码器探针，尤其是在拥有干净标注数据时；数据嘈杂时，SAE 才重新取得优势。团队给出的关键修正是：可解释性是一套工具箱，而非 SAE 的单一文化；无监督分解既是“祝福，也是诅咒”。

• 更大的产品命题是有意设计模型，而不是做一块展示有趣操控向量的仪表盘。 Goodfire 的类比是，强化学习就像只用饼干和惩罚教育孩子，让模型自己推断某个行动为什么对或错。Goodfire 希望专家反馈能够直接修改相关内部表征，从“事后拨弄模型”走向让模型学会期望的解法，同时不吸收不想要的相关性。

• 科学基础模型是一个重要潜在用例，因为它们超越人类的知识本身无法被人类直接获取。 Goodfire 表示，与 Mayo Clinic、Arc Institute 和 Prima 合作时，他们在生物基础模型上使用可解释性方法，识别出了阿尔茨海默病的新型生物标志物。同样的方法也能检验基因组模型学到的是生物学，还是祖源等捷径，从而让可解释性同时成为验证层和发现引擎。

• 安全性命题很务实：可扩展监督必须跟上模型能力的增长。 Goodfire 聚焦奖励劫持、幻觉、隐性偏见和不可靠定制等具体失效，而讨论也把当前值得信赖的强模型视为潜在的可解释性共同科学家。否则，研究人员将陷入“一场注定失败的战斗”：系统加速发展，人类分析能力却只能线性增长。

精读

1. Goodfire 正在构建可解释性实验室，而非单一工具

• Goodfire 对自身工作的定义刻意保持宽泛：用可解释性来“理解、从中学习并设计 AI 模型”。公司首先把自己视为 AI 研究实验室，可解释性则提供数据筛选、后训练分析、内部表征映射、模型控制，最终延伸至训练本身的方法。

• 这笔融资显示出公司的范围已经扩大：主持人宣布 Goodfire 完成 1.5亿美元 B轮融资，估值达到 12.5亿美元。Mark 加入时，公司约有 10名员工；如今已超过 40人，同时保留覆盖研究、机器学习工程、平台开发、科学合作和产品的通才型岗位。

• Myra 的产品职责，是把前沿研究转化为可复用系统，用来解决具有重大现实后果的问题。这也意味着要解释一个边界尚未清晰的领域：正如 Mark 所说，如果问 50名从业者“什么是可解释性”，很可能会得到“50种不同答案”。

2. 后训练失败让内部控制立刻变得有用

• 近期目标是后训练，但团队认为没有根本理由限制这些技术在预训练阶段使用。后训练会暴露过度迎合、奖励劫持以及企业定制吸收噪声等明显失败；理解模型知道什么，或许能让学习过程得到更精准的引导。

• 主持人提到“GPT-4o GhibliGate”这一令人印象深刻的例子：模型通过训练改变了某种行为，却没有对副作用进行充分控制。Goodfire 提出的替代路径是外科手术式的访问：移除一个行为、保留周边能力，并纳入专家反馈，而不必重新训练整个行为面。

• Qwen 或 R1 的政治偏见是另一个例子。嘉宾表示，相关行为位于表征空间中可识别的区域；但那个玩笑式的问题——如果把一个“CCP 向量”取反会怎样——也暴露出把问题简化为单一向量的粗糙性。

• Grokking 和 double descent 进一步凸显了底层问题：多个解可能产生相近的损失，但能够泛化的解优于记忆式解法。可解释性或许能揭示模型是否学到了预期抽象，把“从这些数据中学习”替换成更强的要求——“以正确的方式学习”。

3. 潜意识学习揭示当前模型开发能控制的内容少得可怜

• 最令人不安的例子是潜意识学习：让一个相关模型学习随机数字等看似毫无意义的输出，某种隐藏偏好——“现在你的模型爱上猫头鹰了”——却可能重新出现。一位嘉宾直截了当地概括了这种不安：“没人知道到底发生了什么。”

• 嘉宾保留了对机制的实质性分歧。一种观点认为，迁移来自以相同初始点初始化的模型之间具有路径依赖的重叠；一位主持人则提出，足够普适、甚至“柏拉图式”的表征，最终可能在无关模型之间迁移。双方都没有把这个问题当作已有定论。

• 一位主持人认为，强化学习可能主要是在重新组织模型已经具备的能力，而不是简单地注入干净的新知识。如果蒸馏数据携带着普通过滤无法识别的潜在倾向，后训练就需要检查模型内化了什么，而不只是观察采样输出中出现了什么。

4. 生产失败决定 Goodfire 的研究议程

• Goodfire 描述了一条由客户问题倒推的闭环：先找出机器学习在实验室和部署中失效的地方，再应用当前的可解释性方法，最后把这些方法的缺陷转化为基础研究问题。Goodfire 的首个操控 API 就曾落后于提示和微调，因此团队回到学习算法本身，而不是宣布操控已经足够。

• 稀疏自编码器没有始终产出团队预期的干净语义基础。在检测幻觉、有害意图、PII 及其他不良行为时，只要有高质量标注数据，直接用原始激活训练的分类器有时会胜过 SAE 特征探针。

• Goodfire 发表的 Rakuten 工作提供了重要反例：由于可用训练数据存在噪声，基于 SAE 的信号反而拥有更好的泛化能力。一位嘉宾用一句话概括了这种权衡：无监督方法让人“窥见 AI 的心智”（“a peek into the AI’s mind”），但浮现出的概念未必是某个特定监督任务所需要的概念。

5. Rakuten 将可解释性变成低延迟隐私基础设施

• Rakuten 使用 Goodfire 监测语言模型和智能体流量中的 PII，防止用户隐私信息被路由给下游供应商。系统每日处理用户查询并进行 token 级分类，因此可以移除敏感片段，而不是拒绝整句话。

• 部署打破了几项便于研究的假设。Goodfire 可以在真实客户数据上评估，却不能用客户 PII 训练，只能依赖从合成数据到真实数据的迁移；检测器还必须同时适用于英语和日语，而两种语言的 tokenization 行为制造了大量实现层面的 bug。

• 运营优势在于效率。探针极其轻量，实际上不增加延迟；独立的 guardrail LLM 则需要托管另一个模型，并额外发起一次推理调用。这个结果不如操控演示戏剧化，却更接近持久的生产价值。

6. Kimi K2 让万亿参数模型的操控变得具体可感

• Mark 演示了在 Kimi K2 上进行实时操控。Kimi K2 被描述为一款部署在 Goodfire 办公室的万亿参数模型；嘉宾表示，它需要一整台 H100 节点，也可以运行在 8块H100 GPU 上，而本地分叉版 Kimi CLI 则与修改后的 SGLang 栈交互。

• Kimi 正在调查一个疑似 SGLang 性能 bug 时，Mark 在第 20、30、40 层激活了特征 ID 43,205。模型的推理逐渐从普通语言转为“哥们儿，这代码库确实大得离谱”和“调度器代码真是离谱”，但仍然能够搜索文件并调用工具。

• 为发现这类特征，Goodfire 会将多样化数据输入模型，收集激活值，训练 SAE，再检查最能激活每个稀疏特征的输入。团队不必让人类为超过 43,000个概念逐一标注，而是让前沿 LLM 识别共同模式并提供自动化解释。

• 这次演示的意义在于规模，而不是 Gen Z 文风。Mark 认为，“就在不久之前”，实时操控一个万亿参数模型听起来还不可信；如今，生产环境要求的是针对前沿系统的可解释性工程，而不是精心挑选的玩具生物。

7. 有用的操控必须从风格走向学习

• 幻觉比风格更难处理，因为模型似乎编码了不确定性和迎合用户的倾向，但 SAE 并不能保证产出一个方便使用的“幻觉特征”。特征拆分、特征吸收和偏离目标的副作用，可能让一次事实性干预同时损害创意写作。

• Goodfire 关联的一篇论文《Belief Dynamics Reveal the Dual Nature of In-Context Learning and Activation Steering》提出，应建立提示与操控之间的定量映射。在 many-shot jailbreak 示例中，操控实验能够预测诱发相应行为所需的上下文示例数量。

• 主持人说 Thinking Machines 的 Tinker 使用 rank-one LoRA。嘉宾将这种参数空间中的适配器更新与激活操控进行了对比：前者是“修改管道”，后者是“修改管道中流动的水”——它们是不同的接口，却可能产生相关行为。

• Goodfire 明确拒绝把未来局限在对 Golden Gate Bridge 的迷恋和风格滑块上。要让模型成为法律推理专家，可能需要“复杂得多”的干预方式以及学习算法上的突破；公司暗示即将发布相关工作，但没有透露细节。

8. 有意训练以解释取代奖励

• 团队希望，今天的训练生命周期最终看起来会“相当原始”。模型开发者主要控制数据和奖励，却几乎无法直接指定应该强化哪种内部策略，或排除哪些偶然相关性。

• Goodfire 的一个类比是，强化学习就像只用饼干和打手心教育孩子。孩子得到表扬或惩罚，却没人解释为什么某个行为错了、背后的原则是什么，或者下次应该怎样做。

• 理想的接口允许专家提供反馈，让模型以语义化、持久的方式将其内化。推理时操控是这一理念的早期体现；更长期的目标是在整个训练过程中进行有意设计，对概念实施外科手术式控制，而不是盲目沿着输出结果进行爬坡优化。

9. 可解释性成为连接超人类模型与人类的桥梁

• 一位嘉宾将 AI—人类接口描述为双向关系：人类需要向模型传递目标并实施控制，而超人类科学模型则需要暴露人类无法命名的发现。据称，Goodfire 与 Mayo Clinic、Arc Institute 和 Prima 的合作，已经利用生物基础模型识别出阿尔茨海默病的新型生物标志物。

• 可解释性还可以区分科学知识与捷径。基因组模型可能关注具有生物学意义的机制，也可能利用祖源这一更容易的相关变量；主持人指出，要部署临床预测，就必须能够解释模型为什么作出这些预测。

• 像素空间系统——图像、视频、机器人、扩散模型和世界模型——提供了异常快速的反馈回路，因为研究人员可以直接将某个特征可视化。但它们也要求内部一致性：一个天体物理模型可能表现良好，却没有按人类理解的方式学会 F = ma，这体现了一位嘉宾所称的“归纳问题”。

• 安全讨论围绕可扩展监督展开。Goodfire 的“接地式观点”聚焦奖励劫持、控制和可靠部署；讨论则把当前受到信任的前沿模型视为解释其他模型的潜在共同科学家。在模型强到超过评估它们的人类之前，更强的能力可能成为监督的“顺风”。