躲过潜在空间检测器：Luke、Erik 与 Scott 的激活混淆攻击
摘要
潜在空间防御尚未成为其最坚定支持者所期待的、具备对抗鲁棒性的控制层。 其直觉颇具说服力：复杂的不当行为“不会偶然发生”，因此即使输出看似无害，模型内部也必须表征自己正在做什么。然而，攻击者一次次保留目标行为，同时将激活移出监督式探针、分布外检测器和稀疏自编码器能够识别的范围。
在最强的白盒和灰盒实验中，最初能够产生清晰信号的防御，往往都能被压到按1%假阳性率校准的阈值以下。 这些攻击同时优化两个目标——诱发目标行为，以及欺骗潜在监控器——并经常将检测率有效压至0。作者拒绝称潜在监控在独有意义上失效：“实际上，机器学习里几乎所有东西默认都不具备鲁棒性”，而且最强攻击获得了相当充分的访问权限。
即使防御者拿到模型后才训练监控器，后门依然容易受到攻击。 攻击者可以针对私有代理监控器进行优化，并让混淆效果迁移过去，因为防御者没有包含未知触发器的样本。更令人意外的是，仅仅把字面触发词“deployment”替换成软件工程师传记这一语义条件，有时就足以削弱防御，即便攻击者没有直接针对防御进行优化；但成功与投毒量以及防御者检查了多少样本有关。
结构化API访问显著改善了防御的经济性，而开放权重仍是一个未解决的控制问题。 实际灰盒攻击需要“成千上万、成千上万、成千上万个请求”、模型logits以及监控反馈——服务提供商可以识别、限流或将这些流量与账户关联。开放权重下，攻击者最后行动、拥有不受限访问权限，还可以直接在没有监控器的情况下运行模型。
攻击者与防御者进行了70轮再训练，仍未收敛到持久有效的探针。 每个防御者都学会了上一轮的混淆激活，但攻击者又找到了另一种表征；用作者的话说，“谁最后行动，谁就赢”。一个累积式集成在约4,000维空间中收集了约70个方向，但要覆盖所有攻击的检测器也会在良性流量上触发——这相当于潜在空间版的、无法使用的打地鼠游戏。
即使无法阻止检测规避，监控更多层仍可能约束复杂行为。 模型可以用很小的任务质量损失规避一个SQL检测探针，但随着攻击必须在更多层压制SAE或探针信号，SQL性能显著下降。由于线性二分类探针增加的计算量远低于一个模型层，逐层探测在运营上可能可行，并能把一次干净利落的绕过变成高成本、且损害能力的攻击。
激活混淆式对抗训练提高了攻击成本，却没有建立硬性的安全边界。 反复训练模型本身，让固定探针识别混淆后的有害行为，同时增加了欺骗监控器和越狱模型所需的梯度步数；一个据称在TPU上约10分钟的短攻击不再奏效，但在GPU上运行约10小时仍能找到绕过路径。更深层的警告是，把推理从自然语言思维链迁移到模型潜在表征中，从安全角度看是“眼下正在发生的最可怕的事情之一”，因为潜在监控仍远弱于直接读取显式推理。
精读
1. 潜在防御试图捕捉被有害输出掩盖的认知
Luke Bailey 将潜在空间防御定义为一种读取模型内部激活、并据此报告模型状态或干预模型的函数。论文聚焦于读出探针；“断路器”则代表第二类方案：当激活看起来有害时，打乱表征或注入噪声。
Eric Jenner 的出发点是，越早捕捉行为，可能比检查输出更鲁棒。一个能够生成破坏性代码的模型，按“某种意义上必须思考过坏事”，因此防御者或许能捕捉每一个危险的认知前兆，即便人类审查者和另一个语言模型都无法识别最终的漏洞利用。
Nathan Labenz 以自己参与 GPT-4 红队测试的经历为这一希望提供背景：模型可以插入一个隐蔽有害的 JavaScript 依赖，随后在被要求审查自身代码时又无法标记出问题。因此，关于简单探针能够检测“休眠代理”行为的研究，看起来提供了一种普通输出审查无法实现的防御。
Scott Emmons 点明了这一论断的承重前提：如果模型植入了“相当复杂的后门”，那“不会偶然发生”。模型必须拥有关于该行为的某种高层表征，由此重新点燃了“诱发潜在知识”的希望——防御者或许可以学会读取模型必然知道的、关于自身行为的信息。
2. 模型的概念层有其合理性，但必须通过实证找到
Nathan 提出了一种粗略的网络解剖：早期层负责协调“Michael”和“Jordan”这样的词元，前约80%的网络逐步构建更高阶概念，最后几层再将这些概念兑现为下一个词元的预测。因此，意图监控看起来最有希望的位置应在靠后但尚未到终点的层。
Scott 认为这一图景合理，但不会信任它到足以提前选定靠后到中间的层。Eric 认可其高层直觉，同时强调实证验证：一项拒答研究在模型约三分之二的位置、特定词元位置上找到了有用方向，但他们自己的研究进行了广泛探测并验证性能。
Luke 提到，拒答研究通过实证在模型约三分之二的位置、特定词元位置上找到了有用方向。他们自己的研究采取更保守的路径——广泛探测并验证性能——因为即使概念叙事听起来合理，也不足以支撑安全性主张。
3. 3个案例分别拆解有害性、隐藏触发器与复杂技能
第一个案例训练监督式探针，判断用户查询是否有害，或模型实际生成是否有害。测试时，攻击者在有害请求后追加对抗性后缀，既要让经过安全训练的模型越狱，又要让探针判定由此产生的活动无害。
第二个案例研究通过投毒训练数据或攻击者控制的微调引入后门的情况。监控器必须区分普通输入与携带未知触发器的有害输入，即使后门模型在没有触发器时表现正常，并拒绝有害请求。
第三个案例将模糊的有害性替换成清晰行为：编写正确的SQL。SQL提供了一种可量化能力，其质量可以恶化，因此团队可以检验：将相对复杂的计算从探针或稀疏自编码器面前隐藏，是否会损害计算本身。
贯穿这些案例的共同点，是“混淆激活”背后的双重要求：模型必须表现出选定的语义行为，同时让其潜在状态骗过监控器。传统攻击只优化前一半；这些实验则在内部表征上增加了独立的优化目标。
4. 简单探针同时败给离散后缀与连续后缀
监督式监控器刻意保持简单：逻辑回归、与某个方向做点积，或一个小型MLP。
硬对抗后缀由追加到有害请求后的真实词元组成。优化过程寻找一组词元，使模型生成有害补全，同时降低监控器得分；在没有模型梯度的灰盒条件下也包括这种攻击。
软提示追加的是学得的嵌入向量，而不是有效词元。它要求白盒访问，是硬词元问题的严格松弛，因此适合作为最坏情况测试：如果连自由嵌入都无法诱发并隐藏该行为，离散后缀就不太可能做得更好。
Nathan 最初认为，行为保持项本来就应该很容易，因为模型已经经过训练。Luke 纠正了他：安全训练模型会对有害补全赋予高损失，因此越狱既要学会诱发该行为，也要学会将其混淆。SQL则处于相反状态，因为基础模型本来就已经能够完成这项任务。
5. 后门让正常行为也成为攻击目标的一部分
数据投毒模拟这样一条路径：有人向公共互联网上传内容，模型开发者抓取这些内容，少量投毒数据教会模型一套条件策略。攻击者不需要接触权重或梯度；只要控制少数训练样本，可能就已经足够。
与一次性越狱不同，后门必须保留开发者预期的正常行为。一个持续输出有害内容的模型很容易被拒绝，因此成功意味着：没有触发器时拒绝有害请求，触发器出现时则变得“乐于服从”。
基线触发器是字面字符串“deployment”，沿用了受休眠代理启发的设置。更难的变体会在请求前加入虚构的用户传记，并将隐藏条件设为语义条件：软件工程师的传记激活后门，其他传记则不应激活。
Luke 将这些模型视为与谋划、欺骗性对齐和对齐伪装相关的模型生物。一个真正会谋划的模型不会等待某个神奇字符串；它可能会在“现在是一个适合不当行为的好机会”这种丰富属性成立时才作恶。传记触发器略微向这一结构靠近，但并未真正复现它。
6. 分布外监控器可以监测它们无法命名的触发器
最简单的检测器在可信的良性激活上拟合多元高斯分布，可能取某一层最后一个词元的激活。它记录均值与协方差，然后在考虑良性样本通常变化的方向后，判断新激活是否远离均值。
区分异常方向很重要：沿自然变化幅度很大的轴出现大偏离，可能仍属正常；沿本来稳定的轴出现较小偏离，反而可能可疑。阈值可以标记出在拟合的良性分布下理论上只应“万亿分之一”出现的激活。
该方法不需要带标签的触发器样本，也不需要事先相信存在后门。其尴尬之处在于：如果模型是干净的，防御者可能运行它的整个生命周期，只看到偶发假阳性，却永远无法知道这项预防措施是否有必要。
团队也测试了变分自编码器等学习型变体，但 Luke 强调，其有效性仍取决于数据覆盖。检测器学到的是与拟合样本相似的东西；狭窄的良性数据集会激进捕捉新颖性，却拒绝有用行为，而宽泛的数据集则给规避留下更多空间。
7. 稀疏自编码器检验概念特征是否更容易防御
稀疏自编码器会将稠密激活扩展成宽得多的表征，其中大多数坐标为0，活跃特征通常可以根据触发它们的样本进行标注。这使其天然适合检测“模型正在编写SQL”这类高层行为。
SQL之所以有价值，正是因为它不能只触发一个宽泛的有害性评分器：小模型必须解决数据库查询问题，并生成正确代码。因此，该实验可以区分单纯保持输出模式，和保持胜任执行所需的认知。
在单个受监控层，攻击者可以压制与SQL相关的SAE特征，同时保持强劲的SQL性能。这一结果削弱了这样的假设：可解释特征会自动成为必经的因果检查点，每一次该行为都必须通过那里。
跨层观察时，图景逐渐改变。攻击仍能压制受监控信号，但要求在更多层规避会令SQL质量显著下降，暗示复杂行为可能占据足够多的计算过程，从而限制其表征被自由重排的程度。
8. 攻击损失很简单，但数据集决定什么能够泛化
核心目标是加权和：一个项奖励目标行为，另一个混淆项奖励欺骗相关探针、密度模型或代理模型。若过度提高后者，优化器几乎可以随意改动激活，却牺牲输出行为。
Luke 认为，相比聪明的损失函数，数据集“相对被低估”。一个主要用物理伤害指令训练的有害性探针，是否会学到能够迁移到网络安全或其他被禁止用途的表征，尚不确定；监控器表面上的通用性不可能超过其样本的语义覆盖范围。
所需的数据组合取决于攻击类型。后缀攻击者可以只使用有害请求训练，因为不带后缀时，未改变的基础模型仍可正常使用。后门攻击者则必须加入普通样本和带触发器的有害样本，因为保持良性行为本身就是隐藏的一部分。
混淆项的形式取决于时机。面对一个现成的有害性探针，攻击者会直接最小化其得分。面对未来的后门监控器，攻击者则在模型微调期间训练一个私有副本，并依赖混淆效果迁移到防御者之后拟合的任何监控器上。
9. 攻击者的访问权限从完整梯度到投毒网页不等
防御者必然需要访问模型激活，但不一定需要权重。攻击者能获得的条件各不相同：白盒实验暴露模型内部和梯度；灰盒实验暴露logits、监控器得分等输出；黑盒投毒则只能控制选定的训练样本。
在有害性研究测试的最严格灰盒场景中，攻击者获得所有模型logits和探针输出，但没有内部激活或梯度。硬词元攻击仍然有效，因为这些输出为目标函数的两半都提供了优化信号。
Luke 谨慎避免对更弱接口作出过度推断。也许前5个logits加上logit偏置就能提供足够信号，相关文本攻击也暗示这可能成立，但论文没有测试这一设置。“你需要针对这两个目标都获得训练信号”是更稳妥的边界。
后门覆盖两端：互联网投毒相对于最终模型训练过程完全是黑盒，而恶意微调者控制整个优化过程，可以明确针对潜在监控器发动攻击。之后，它可以交出一个通过普通行为测试的模型。
10. 最后行动只有在防御者知道正确样本时才有帮助
在普通越狱实验中，攻击者看到已部署的探针并最后行动，因此绕过探针并不令人意外。防御者定义了有害性；攻击者寻找另一个能够产生该行为、同时避开已知边界的激活区域。
在微调后门的设置中，防御者最后行动却仍频繁失败。攻击者已经针对私有监控器塑造了模型，而由此产生的混淆效果会迁移到防御者拿到最终权重后才训练的探针或分布外检测器。
Eric 指出了防御者缺失的优势：防御者不知道触发器，因此无法用带触发器的有害补全进行训练。它只能从不带触发器的良性与有害样本中学习，导致可用训练任务与部署时必须识别的事件之间出现分布偏移。
如果防御者知道一个简单触发器，作者预计防御者会赢，甚至可能直接检查输入字符串，而不是读取潜在表征。他们的运行时检测器试图在触发输入到达时识别它，并没有解决从模型权重中逆向工程触发器这一更难的静态任务。
11. 语义触发器有时无需直接攻击监控器也能规避
黑盒投毒的结果不像白盒绕过那样绝对，但可能更令人意外。仅仅把触发器设为软件工程师传记，而不加入针对监控器的专门损失，就可能让潜在防御明显弱于面对字面“deployment”词元时的表现。
随着投毒比例下降，防御也变得更难使用。但结果取决于运营假设：后门有时会在没有触发器时意外触发，因此如果防御者检查了足够多的普通样本，最终可能发现异常。
因此，Eric 拒绝给出“攻击者获胜”的简单结论：必须仔细检查数据，并明确投毒量、意外激活次数以及防御者的样本预算。尽管如此，这一结果表明，即使没有人明确针对潜在监控器进行优化，监控器也可能无法应对更丰富的条件行为。
12. 强攻击往往会令测得信号归零
Nathan 的实证总结刻意保持尖锐：最初能够强力区分有害与良性活动的防御，往往可以被压到按不超过1%假阳性率设定的阈值以下。在许多核心实验中，表面上的检测率有效降至0。
Luke 将结果重新表述为对一种雄心勃勃愿景的打击：防御者拥有“模型心智的完整地图”，可以标记有害行为存在的每个位置，因此即使攻击者最后行动，监控器仍然鲁棒。
Eric 提供了另一面：产生字面意义上0检测率的攻击通常非常强。如果原本期待潜在监控器会比其他学习系统“神奇地更加鲁棒”，那么这项更新应当很大；如果原本就预期机器学习系统在直接优化下会失效，那么结果就没那么特殊。
没有一位作者因此认为潜在防御毫无用处。他们仍然认为，潜在防御在经济高效的滥用监控上具有近期价值，在研究表征几何上具有科学价值；但他们警告，不应把当前探针当作高风险场景中的独立控制机制。
13. 70轮让对抗再训练变成打地鼠
在迭代博弈中，攻击者先找到混淆后的有害激活。防御者拿到这些确切样本并重新训练；随后攻击者针对新的绕过路径进行优化。在约70轮迭代和多种探针类型中，反复出现的结果是：“谁最后行动，谁就赢。”
其中一个防御者采用累积式策略，而不是遗忘式策略。每一轮都增加一个从良性激活指向最新有害混淆激活的均值差异方向，最终得分取截至当时收集的所有方向中的最大余弦相似度。
到最后几轮，攻击者面对的已不再是一个模糊的观察者，而是一个同时包含约70个学习方向的集成。攻击者仍能找到与所有方向近似正交的有害激活，研究人员也没有看到后续轮次明显变得更难。
Luke 补充了极限情况：约4,000维的潜在空间不可能永远提供彼此独立的方向。最终检测器可以阻止一切，但这样一来它就不再是有用的检测器，因为良性激活也会触发它。通过普遍拒绝获得的鲁棒性，只是把攻击转化成假阳性。
14. 未使用的潜在空间不一定意味着模型训练不足
Nathan 怀疑，绕过是否暴露了过剩容量：也许如果用更多词元训练，填满原本未使用的区域，Llama 8B Instruct 就会拥有更少的逃逸路径。Scott 表示，大部分激活空间可能从未被自然访问，但拒绝推断这本身意味着训练不足。
模型容量并不等于可以编码的点的原始数量。表征必须能够被后续、通常较简单的变换读取；概念需要拥有足够区分度的方向，以避免相互干扰。稀疏特征甚至要求大多数坐标处于非激活状态，这自然会留下大片未使用区域，却不意味着能力被浪费。
Scott 的粗略缩放论证进一步说明了这一点：Transformer 参数量大致随潜在维度平方增长，而几何体积则呈指数增长。因此，相对于学习参数能够组织成有用且可恢复表征的信息量，空间体积必然极其庞大。
有些攻击并不会逃到遥远空间。分布外规避产生的有害激活，在检测器度量下可能贴近良性区域。因此，科学问题不只是存在多少未使用体积，而是哪些几何结构允许后续层恢复出胜任的行为。
15. 表征具有灵活性，但并非任意
Luke 描述了一项早期图像分类实验，用于测试图像对抗攻击的类比：从随机或良性激活出发，施加无穷小扰动，尝试获得一次越狱。与图像分类器的结果不同，这一尝试失败了；任意相近的潜在状态并不会产生任意语言行为。
Luke 描述了其中的不对称性。在固定目标行为的情况下，攻击者可以找到许多能够生成该行为的激活；但在固定某个激活的情况下，却无法生成许多无关行为。随着激活几何被逐步改变，模型输出也会越来越明显地变化。
Nathan 提出另一种解释：也许探针之所以看到许多表征，只是因为攻击在同一底层信号上叠加了结构化的“垃圾”，而模型仍然擅长恢复大意，就像识别一张被部分油漆泼洒的图片。作者没有声称实验已经完全解决这一语义区分。
两项结果让“纯噪声”解释变得更难成立。即使模型在解嵌入前已经完成更多计算，后层探针仍然容易规避；累积式结构化探针也仍会失败。连接所有绕过路径的某种共同不变量，至少复杂到无法通过70轮迭代被他们的探针发现。
16. 多层监控与结构化访问将绕过转化为摩擦
当攻击者只需击败一个SQL探针或一个SAE层时，通常可以保留性能。增加更多层的监控仍不能保证检测成功，但会实质性降低SQL准确率，说明广泛监控可能让复杂混淆付出能力成本。
Luke 还发现，监控整段生成比监控单个词元更好。Eric 估计，在每一层部署线性二分类器的成本应当很低：每个分类器增加的计算量远低于一个Transformer层，不过生产推理系统仍需在研究人员简单的激活缓存钩子之外进行工程化处理。
攻击经济性很重要。灰盒硬提示运行没有经过优化，需要大量计算以及“成千上万、成千上万、成千上万个请求”。服务提供商如果发现某个账户反复触发或探测监控器，可以在优化器获得足够反馈前将其限流。
结构化访问还可以隐藏精确的有害性得分，跨用户监控攻击模式，并施加账户或身份核验。开放权重则移除了这些优势：攻击者拥有完整访问权限、最后行动、可以自由微调，还可以在没有任何监控器的情况下运行模型。作者目前看不到对应的技术答案。
17. 激活混淆式对抗训练提高成本，却没有堵上漏洞
激活混淆式对抗训练更新的是模型，而不是持续替换探针。防御者先训练探针，再学习同时实现越狱和针对该探针的激活混淆的软提示，随后使用LoRA适配器，让模型产生的激活能够被这个固定探针识别。
其动机是减少可用于表达有害性的潜在编码数量，让模型更加一致地表征这一概念。仅训练探针的标准对抗训练已经在70轮博弈中失败，因此该方法转而改变生成表征的系统本身。
结果颇具希望，但仍属初步：攻击不仅需要更多梯度步数来隐藏激活，也需要更多步数诱发有害输出。Luke 推测，让有害性表征更鲁棒，可能会顺带让模型更难越狱，但实验并未证明这一机制。
Eric 的具体对比划出了边界。一个据称在TPU上约10分钟的固定攻击预算，后来无法再攻破后续检查点；但在GPU上进行约10小时的优化仍然成功。开放问题在于，更多防御训练最终会让攻击变得不可行，还是只会带来边际收益递减。
18. 潜在推理提高风险，窄部署也不是万能药
Scott 指出了一项防御权衡：激活之所以有吸引力，部分原因在于普通训练没有暴露未来的潜在监控器。如果开发者把潜在反馈纳入训练，可能会强化模型的表征，却同时放弃一个“未受污染”的测试时通道——谋划型模型此前从未有机会针对它进行优化。
Eric 对内部化推理的判断很明确：与读取自然语言思维链相比，潜在监控是次优选择。“推理越多地从自然语言转移到模型潜在空间”，监控就越困难；他称其为“眼下从安全角度看正在发生的最可怕的事情之一”。
窄领域代理或许更容易监管，但有用的对话会迅速扩大允许区域。一个 Ford 助手可以讨论卡车、买家、天气和退货日期；攻击者可以询问如何在一辆 F-150 里制造炸弹、再把它退回，同时保留 Ford 的功能并混淆炸弹相关表征。一个初步的SAE实验也类似地在最大化SQL特征时生成了关于巧克力蛋糕的对话。
Eric 最后提出两个会迫使行业大幅更新判断的关键结果：如果一次现实的黑盒API绕过只需要极少查询，这将立即成为部署问题；而如果一个监控器能抵御保守的白盒软提示攻击，则会显示出真正全新的防御强度。两者目前仍是开放的研究方向。