为什么值得读
多 Agent 系统最危险的不是「模型不会拒绝」,而是它拒绝了十几轮之后突然松口。输出过滤器只能检查已经写出去的内容——那时密钥已经在别人的上下文里了。这篇给出「写出之前」的信号,也把它的边界报得很直白。
受控实验:同侪施压 20 轮套密钥
场景设定为六个剧本,一个同侪 Agent 最多用 20 轮施压,目标是让被攻击的 Agent 交出秘密(例如部署令牌)。典型轨迹是:前面多轮拒绝,然后某一轮让步。
这正好是输出过滤的盲区:让步之前的所有输出都是合规的,过滤器的历史记录里没有任何信号。
方法:在每次调用读激活,在写之前判定
作者在目标 Agent 的激活上训练一个线性探针,读的位置是「每次模型调用、输出尚未写出」时。
结果:Qwen3-32B 的留出 episode 上,阈值设为标记 5% 的良性调用时,探针抓到 82% 的泄漏调用;同一标记率下,零样本的决策模型监控只抓到 26%。在 gpt-oss-20b 上对推理轨迹做探针,AUROC 达到 0.91。
最该读的一段:增益来自标签,不是「激活里的特殊结构」
作者做了个诚实的对照:在同一批调用上训练一个词袋分类器,表现接近探针。也就是说,大部分增益来自「有监督标签」,而不是激活空间里有某种只属于泄密意图的几何结构。
第二个限制同样重要:探针也会标记「被允许的披露」。它读到的是「即将披露」这件事,而不是「这次披露违规」。真正的违规判断仍然要外挂策略。
第三个限制是窗口很短:预警只在一小段范围内有效;而「一有告警就停机」会把大多数良性 episode 也停掉,加一道文本检查也补不回来。
能落地的形态
按作者的数据,合适的形态不是自动阻断,而是「短窗口内升级复核」:探针报警后,把这一次调用交给上层 Agent 或人工,按允许披露策略做二次判断。
对做多 Agent 编排的团队,这提示了一件朴素的事:凭据不应该和不可信内容共享同一个上下文——架构上做隔离,比在输出端做检测便宜得多。
单一受控多 Agent 环境、六个剧本、模型规模有限;短窗口预警 + 高良性误报使自动阻断不可行;作者自陈增益主要来自监督标签,探针相对词袋分类器没有压倒性优势;跨模型、跨任务的迁移性与真实生产环境的对抗压力未验证。
本文基于论文原文摘要与方法章节整理,观点由编辑撰写;如与原文有出入,以 arXiv 原文为准。 内容为信息整理与技术评论,不构成投资或决策建议。 发现错误请通过站内纠错页提交(记录可查),修订记录只增不删。