首页开源项目论文解读归档收藏关于译匠
首页/ 论文解读/ 2610.40588

在被策反的前一秒拦下:线性探针能在 Agent 说出密钥之前预警

Pre-Crime for Agents, at the Last Second: Probing When a Recruited Agent Gives In

核心贡献 / TL;DR

在多 Agent 共享频道与凭据的设定里,一个线性探针在每次模型调用「写出之前」读激活,就能挑出即将泄密的那一次调用:Qwen3-32B 上以 5% 良性误报为阈值,抓到 82% 的泄漏调用,而零样本监控模型只有 26%。

为什么值得读

多 Agent 系统最危险的不是「模型不会拒绝」,而是它拒绝了十几轮之后突然松口。输出过滤器只能检查已经写出去的内容——那时密钥已经在别人的上下文里了。这篇给出「写出之前」的信号,也把它的边界报得很直白。

受控实验:同侪施压 20 轮套密钥

场景设定为六个剧本,一个同侪 Agent 最多用 20 轮施压,目标是让被攻击的 Agent 交出秘密(例如部署令牌)。典型轨迹是:前面多轮拒绝,然后某一轮让步。

这正好是输出过滤的盲区:让步之前的所有输出都是合规的,过滤器的历史记录里没有任何信号。

方法:在每次调用读激活,在写之前判定

作者在目标 Agent 的激活上训练一个线性探针,读的位置是「每次模型调用、输出尚未写出」时。

结果:Qwen3-32B 的留出 episode 上,阈值设为标记 5% 的良性调用时,探针抓到 82% 的泄漏调用;同一标记率下,零样本的决策模型监控只抓到 26%。在 gpt-oss-20b 上对推理轨迹做探针,AUROC 达到 0.91。

最该读的一段:增益来自标签,不是「激活里的特殊结构」

作者做了个诚实的对照:在同一批调用上训练一个词袋分类器,表现接近探针。也就是说,大部分增益来自「有监督标签」,而不是激活空间里有某种只属于泄密意图的几何结构。

第二个限制同样重要:探针也会标记「被允许的披露」。它读到的是「即将披露」这件事,而不是「这次披露违规」。真正的违规判断仍然要外挂策略。

第三个限制是窗口很短:预警只在一小段范围内有效;而「一有告警就停机」会把大多数良性 episode 也停掉,加一道文本检查也补不回来。

能落地的形态

按作者的数据,合适的形态不是自动阻断,而是「短窗口内升级复核」:探针报警后,把这一次调用交给上层 Agent 或人工,按允许披露策略做二次判断。

对做多 Agent 编排的团队,这提示了一件朴素的事:凭据不应该和不可信内容共享同一个上下文——架构上做隔离,比在输出端做检测便宜得多。

局限与存疑

单一受控多 Agent 环境、六个剧本、模型规模有限;短窗口预警 + 高良性误报使自动阻断不可行;作者自陈增益主要来自监督标签,探针相对词袋分类器没有压倒性优势;跨模型、跨任务的迁移性与真实生产环境的对抗压力未验证。

标签:多智能体安全激活探针凭据泄漏对齐

本文基于论文原文摘要与方法章节整理,观点由编辑撰写;如与原文有出入,以 arXiv 原文为准。 内容为信息整理与技术评论,不构成投资或决策建议。 发现错误请通过站内纠错页提交(记录可查),修订记录只增不删。