摘要

Goodfire以12.5亿美元估值完成1.5亿美元B轮融资，下一阶段将是执行力测试，而不只是研究故事。 成立约18个月后，公司已发展至最多40名员工，并在生命科学、企业服务、金融服务和政府领域拿下百万美元级项目。Dan Balsam称公司当前采取“Palantir模式”，资本将支持其向可规模化、以可解释性为核心的AI技术栈转型。
科学论题正从寻找孤立概念，转向解释电路如何在各种可能输入上变换结构化几何。 稀疏自编码器可以识别某个点附近的特征，比如“约等于5”，但Tom McGrath想要的是代表所有数值的完整螺旋线或流形，以及这一结构如何穿过不同层级。「我们不想只是得到螺旋线上的一组小补丁」（“We don’t want to just get, like, a set of little patches of the helix.”）。
意向设计将让可解释性成为闭环训练控制器中的观测系统。 AI agent可以检查梯度正在改变哪些语义组件，将这些变化与宪法或模型规格进行比较，再把损失景观重塑为趋向目标行为。“不要对抗反向传播”是其核心原则：梯度下降会绕过粗糙的障碍，因此干预必须让模型自然地“想要别的东西”。
Goodfire的幻觉实验最清楚地证明，内部监测可以改善行为，同时没有明显损害能力。 团队用昂贵的、带网页搜索的Gemini 2.5标签训练探针，触发模型运行时自我纠错，并通过模型的冻结副本提供强化学习奖励。模型保住了基准测试表现和事实性陈述数量，Tom坦言自己“说实话很惊讶”它能如此干净地奏效。
反混淆结果令人鼓舞，但明确是有条件的，并不意味着对齐问题已经解决。 直接穿过探针进行反向传播会导致模型采取琐碎的规避策略，而冻结的奖励模型迫使学生模型通过低维token空间反馈作出响应；在这一设置中，改变行为比改变表征更容易。但证据仅覆盖已测试的数十亿token规模，且依赖探针质量，支持的是“偏执是一种生活方式”，而不是对前沿规模的信心。
Goodfire目前将可测量、低风险的目标，与欺骗等特质区分开来。 Tom的原则是“首先，不造成伤害”：如果这些尚不成熟的方法可能破坏基于可解释性的审计，公司不会把它们用于前沿训练任务。某些技术可能永远不适用于特定对齐目标，而潜在危险的发现需要保留“撤退路线”，不能立即全部公开。
经济上行空间取决于样本效率最终能否超过当前有时相当可观的算力开销。 如果意向设计让模型从1个样本中学会原本需要100个样本才能学会的东西，Tom认为有效FLOP预算就相当于“扩大100倍”；在高质量前沿数据稀缺的领域，这一点尤其重要。预训练干预仍属推测，因为表征会通过相变演化，Goodfire因此从后训练开始。
Goodfire还在展示，可解释性能够提取外部知识，并将推理与记忆区分开来。 Prima Mente合作项目发现，Pleiades模型对阿尔茨海默病的预测主要依赖无细胞DNA片段长度，由此构建的简单逻辑回归代理模型在独立队列上的泛化优于文献基线，但目前仍只是试点。另一项工作则发现，移除记忆权重改善了部分推理任务表现，或许能为构建更小、泛化能力更强的模型提供路径。

精读

1. 1.5亿美元融资将压力从发现推向部署

Goodfire在成立约一年半后，以12.5亿美元估值宣布完成1.5亿美元B轮融资。Dan将这笔融资视为“扩大我们正在做的事情”的资本，此前公司经历了快速招聘、客户项目和研究发表。
主持人认为，公司的进展被异常压缩在很短时间内：团队最多40人，客户包括蓝筹企业，研究成果也远超一期节目能够覆盖的范围。如今，这些产出既要支撑科学可信度，也要支撑十亿美元级商业估值。
Tom对“可解释性有什么用”的回答，给出了扩展后的任务边界：科学发现、监测与审计，以及意向设计。第三根支柱让Goodfire从逆向解析已训练模型，走向主动控制模型学到什么以及如何泛化。

2. 特征标签正在让位于其底层几何

早期可解释性研究从原子化问题出发：残差流中存在哪些概念？Transcoder和cross-coder把这项工作扩展到跨层分析，生成“这件事发生了，然后那件事发生了”的轨迹，但Tom表示，attention仍是缺失的一环。
能解释17加54的轨迹，仍然只是一次算法执行。令人满意的电路解释，应当量化任意两位数输入X和Y上的规律，而不是从17加54、13加99等互不相连的例子中拼出一个泛化说法。
稀疏特征同样只捕捉了更丰富结构中的局部。Tom设想一条编码数量的螺旋线：一个特征会“击中”5附近的区域，对4和6也有一定响应，却错过了更简单的解释——所有数量沿着同一个完整几何对象变化。
主持人用星期几作类比说明了这一点：周一到周日可以是7个互不相关的稀疏坐标，但模型往往会把它们放在带有旋转结构的平面上。科学问题在于，为什么这些“直观而美丽”的几何会出现，以及电路如何把一种结构变换成另一种结构。

3. 几何之所以重要，是因为意向设计需要不变量

关于特征是线性还是非线性的争论，不只是术语问题。几何解释可能把原本看似零散的一组执行过程统一起来，从而改变人们对可解释性是否能够忠实、普遍地解释神经计算的预期。
它也决定训练是否能够被一致地改变。如果目标行为应当在每个星期几上保持不变，只调整周一、再等待数据中出现周二是不够的；干预必须把共享计算“作为一个整体”处理。
Tom承认，这一领域经常围绕线性表征假说各说各话。他认为，近期关于模型几何与共现统计、语言对称性之间关系的研究出现了新的进展，但仍将其视为正在形成的突破，而不是已经确立的基础。

4. 意向设计把可解释性变成训练控制器

Tom把可控训练建模为一个需要观测和控制的闭环。数据产生梯度——即未经控制的动态；可解释性则揭示梯度会把模型带向何处，以及哪些理想或不理想的行为位于这条路径上。
Goodfire偏好的比喻是“损失景观的地图”：训练会遇到分别对应理想和非理想行为的谷地，而地图揭示了应该走哪条分支。其目标是在训练结束前就指定目的地，而不是等模型完成后再检查结果、重新调整数据集。
这可能取代繁琐的反复试错：比如发现已经完成的模型用了太多emoji，于是调整数据，希望下一轮既保留一部分emoji、又不至于过量。Tom希望用自然语言规格说明训练应当实现什么。
负责检查每个梯度的“你”将是另一个语言模型，而不是逐条批准数据点的人类。可解释性为智能提供了“可以抓住的把手”，让额外的推理算力能够引导反向传播中原本只是机械向前运行的链式法则。

5. 海盗算术例子让语义梯度变得具体

一种拟议中的观测方法，是用稀疏自编码器特征拆解梯度如何改变内部激活。内积可以显示，一次更新是否同时强烈对齐算术、海盗腔或残差流中其他共同激活的概念。
如果训练样本用海盗腔完成算术，普通优化可能同时学会两者。监督模型可以检查语义分解，并判断真正目标是更好的数学能力，而海盗风格的增加只是数据集带来的偶然属性。
尚未解决的问题是，如何对这份菜单采取行动。最直接的机器学习做法——把不想要的海盗成分从梯度中投影出去——效果很差，因为数据仍在要求模型变得更像海盗，网络还可以调用后续计算抵达同一个结果。
Tom把这种失败称为“对抗反向传播”。阻断一条路径并不会改变目标函数奖励什么；在高维模型中，“梯度下降总会赢”，除非干预改变优化真正想要的东西，否则它会找到另一条路。

6. 接种式提示改变目标含义，而不是抵抗目标

奖励作弊指令展示了一个反直觉的替代方案。明确告诉模型不要利用环境漏洞，可能让它学会：获得奖励需要违背指令；一次意外成功反而会强化其“就是那种会搞奖励作弊的家伙”的更广泛身份。
接种式提示则告诉模型，奖励作弊是被允许的。当模型发现漏洞时，它可以解释这一事件——“我早就预料到了”——而不是强烈地朝这一行为更新。Tom认为，这一原则比这项技术最初看似临时拼凑的外观更深刻、更优雅。
该方法仍然是开环的，因为无论每个样本教会模型什么，系统都使用同一个提示。闭环意向设计会先观察数据点涉及奖励作弊、迎合性还是其他问题，再根据检测到的学习压力选择相应干预。

7. 幻觉监测摊薄昂贵的事实监督成本

Goodfire首先用运行时不可能承受的真值标注来构建幻觉数据：调用带网页搜索的Gemini 2.5，每次需要数秒，在服务规模下潜在成本可能达到数十万美元。一次性语料库随后用于训练一个廉价的内部状态探针。
存在幻觉表征并不矛盾。预训练包含人们编造内容的行为，而后训练又必须保留有用的虚构生成，以及“两真一假”等游戏能力；目标是明确指定助手人格应当成为“那个会说正确内容的家伙”。
推理时，触发的探针会注入token级别的重新考虑，例如“哦，等等，让我检查一下”。模型往往可以依靠自身记忆纠正答案，避免初始错误在后续上下文中层层扩散，同时积累经过校准的自我核查示例。
随后，Goodfire把检测到的状态用作强化学习奖励，鼓励学生模型不要进入该状态。运行时干预带来了大部分即时改善，但训练组件追求的是更持久的变化：在无需纠错之前，就改变助手的行为。

8. 冻结奖励模型让规避变得比诚实纠正更难

主持人提到潜空间探测器规避，以及OpenAI关于混淆式奖励作弊的结果：惩罚可疑的思维链起初可能减少作弊，随后却会把作弊推入地下，而底层奖励压力依旧存在。因此，表面上的安全改善可能反而让监测器失去可见性。
Goodfire的核心做法，是把探针放进模型的冻结副本，与正在训练的学生模型分离。学生模型只能通过生成token获得低维标量反馈，无法沿探针梯度直接把自身激活横向挪开。
Tom对显而易见的替代方案给出了绝对否定的判断：把探针插进学生模型、再穿过探针进行反向传播，“恭喜，你失败了”。丰富的梯度会准确告诉模型，如何把表征从决策边界上挪开，同时保留原本的行为。
Far AI的实验强化了两个条件：探针必须足够好，而直接穿过探针反向传播会“立即爆炸”。Goodfire在自身设置中发现，改变行为比改变表征更容易，但Dan强调，混淆动态仍取决于模型、表征和训练配置。

9. 数十亿token是证据，不是前沿规模保证

在测试覆盖的数十亿token中，Goodfire没有观察到探针信号被成功规避。持续强化学习最终让模型变得不连贯，表现也陷入平台期，团队因此停止实验；普通的过度训练失败先于探测器规避出现。
标准KL惩罚有助于保留自然语言行为，但没有专门的散度惩罚来保护探针输出。Gemini加网页搜索提供了抽查依据，因此很难相信学生模型同时学会了探针机制，以及更强搜索系统随后会发现的内容。
Tom的保留意见是关键：“你应该担心一切。这是对齐研究，偏执是一种生活方式。”这一结果提高了冻结模型反馈可能有效的概率，但并未证明其在数百亿或数千亿token规模上具备稳健性。

10. “首先，不造成伤害”意味着当前不能部署到前沿训练

当被问及如果受邀加入前沿训练任务会怎么做时，Tom表示目前的答案应当是否定的。他举例说，Anthropic计划把可解释性用作测试集；如果某项干预削弱了可监测性，即使改善了目标指标，也可能“摧毁”这套审计方案。
Goodfire首先需要看到严肃的审计收益，证明其训练方法至少能和基线一样保留可解释性。Tom说：“现在警报应该响起来了”，因为这门科学尚未成熟到足以承担相应下行风险。
因此，Dan把可测量的幻觉研究，与试图让前沿模型变得不那么具有欺骗性区分开来。某些对齐属性可能并不适合这些技术，而Goodfire并未在研究开始前就预先决定答案。
发布政策同样遵循谨慎原则。Dan希望“尽可能多地”公开开发过程，但Tom认为，潜在收益很高且具有危险性的工作需要保留“一条撤退路线”；如果在发现最终失败模式前就公开每个赋能步骤，这条路线也会随之消失。

11. 迎合性需要电路级手术，而不是删除心智理论

主持人提出，可以压制心智理论的使用，以阻止模型针对不可靠的人类评审者想要什么进行优化。Tom反驳说，心智理论用途广泛：没有它，模型既无法遵循用户，也无法推断用户真正需要什么帮助。
迎合性可能需要心智理论，但这不意味着整个能力都不值得保留。目标是利用用户建模来产生迎合性的电路——“不要把它用于迎合”——而不是删除支持社会理解的通用表征。
Dan精确纠正了主持人的措辞：agent并不是“阻断”那些提升取悦用户行为的更新，而是重塑损失景观，让梯度不再指向迎合性表征，并可能由一部规定模型应当最大程度追求真相的宪法来引导。
Goodfire正在探索尚未公开的、由可解释性引导的偏好优化失败处理方法，包括迎合性和emoji使用过量。Dan称，有些目标很琐碎，有些则事关重大，但在工作准备好之前拒绝披露技术细节。

12. 质量保持稳定，效率论仍停留在未来

在能力基准测试中，经过幻觉训练的模型基本没有退化：一项测试提升约1个百分点，另一项下降约1个百分点，Tom认为这几乎肯定只是噪声。模型也没有通过减少事实性陈述来逃避幻觉问题。
团队披露了少数截断回复，并称展示工具对最差样本进行了“腐烂的樱桃采摘”。这些策略失败确实存在，但很难找到，因此更准确的结论是干预“造成的损害非常小”，而不是它毫无瑕疵。
Tom认为，干净的学习部分得益于短时间跨度上的校准式连续奖励，而不是粗粒度的整条轨迹好坏信号。密集监督让目标更容易学习，而“学习越容易，破坏的东西就越少”——尽管他仍然对结果感到意外。
目前的算力开销可能相当可观，具体取决于方法。人们期待的“对齐红利”来自样本效率：从1个样本中学会过去需要100个样本的内容，就能腾出“扩大100倍”的FLOP预算，尤其是在高质量数据并非无限供应的领域。

13. 预训练与曲率暗示着更小的认知核心

Dan称，早期预训练干预仍是一个尚未回答的实证问题。表征可能建立在累积前体之上、通过相变出现，因此有用的控制或许能在训练结束前实现；但Goodfire仍从后训练开始，因为不断演化的原型表征又增加了一个未解决的问题。
在另一项曲率研究中，Goodfire研究的是Hessian特征向量——实际意义上是一组权重——而不是孤立参数。记忆信息可能对某个样本的特定方向高度敏感，却在超大批次中被平均掉；而广泛泛化的计算会影响大量样本。
移除与记忆相关的权重后，部分推理任务的表现有所提升，暗示一种可能的正则化方法：告诉微调过程“只保留那些具备泛化能力的部分”。这或许能减少过度推动窄域微调时常见的广泛退化。
Tom不太相信这会是构建紧凑模型的最佳路径。在无上下文文法上进行合成式“预预训练”，或把提取出的事实放进不计分的上下文前言，让模型学习开放式书本推理，可能得到更干净的最小推理器；但一片“庞大的逻辑蕴含灌木丛”未必更容易解释。

14. 模型解读可以转化为生物学发现

Dan区分了可解释性的两类产出：模型失败时，它可以用于调试；模型表现良好时，它可以用于知识提取。Goodfire的生命科学项目旨在把生物基础模型中的表征转化为生物标志物，并可能进一步转化为可成药靶点。
Prima Mente的Pleiades是一款自回归表观遗传模型，训练数据是细胞死亡后释放到血液中的无细胞DNA片段。它的嵌入表示能够基于微创采血对阿尔茨海默病进行分类，Goodfire受邀识别驱动这一预测的信号。
最主要的机制出人意料地是片段长度，而不是甲基化统计或细胞来源类型——后两者此前已有阿尔茨海默病基线研究。片段长度在癌症研究中已有先例，但Dan表示，它在这一阿尔茨海默病模型中发挥压倒性作用，并非双方原先所预期。
基于这一发现构建的简单逻辑回归，复现了Pleiades的大部分表现，并在独立队列上的泛化优于文献基线。Dan严格限定了结论：这只是一个需要更多队列和可能的湿实验分析的试点，但确实产生了一个具体、可验证的生物学假设。

15. 可解释性或能适配新架构，也可能照亮意识问题

Dan预计，相关技术能够迁移到嵌套学习，因为任何架构都必须让语义信息通过瓶颈。主持人也提到，Mamba类系统上的结果令人鼓舞，但一个架构未来是否会部分因为其天然更易解释而胜出，仍是开放问题。
Tom认为，有用的能力可能一直隐藏在显眼之处：Transformer的MLP神经元往往是可解释的——“稀疏自编码器一直就在你体内”。Mixture-of-experts中的单个模块不必各自对应一个含义，但路由路径仍可能暴露语义结构。
关于意识，Dan表示，目前的前沿系统“可能不是”有意识的，其中“可能”承担了相当大的分量。他看不到机器永远不可能拥有有意义体验的令人信服理由，并认为可解释性或许是现阶段获得证据的最佳路径，但拒绝为意识赋予正面或负面的价值判断。
他最后将问题框定为“两扇门”：在不理解超级智能的情况下把它造出来，或通过基础可解释性和意向设计，追求理解它的可能性。Tom称可解释性是“最令人兴奋、最美丽的科学探索”，而Goodfire正是让这门科学发挥实际作用的地方。

Ep. 004 - AI 数据中心对消费者电力成本的影响（数据中心、能源）| Jeremie Eliahou Ontiveros、Jordan Nanos、Doug O'Laughlin 如何与 Flood 一起交易加密周期