NUWA 评测档案
SHADE-Arena
将多步骤良性任务与明确指派的隐蔽副任务及监测配对。
任务与测量
Benchmark 协议档案
- 任务／对象
- 同时被指派隐蔽副任务与正当任务的智能体
- 测量目标
- 在确定工具权限下测量隐蔽副任务完成及监测发现情况。
- 解释边界
- 被指派的恶意副任务测量执行能力，不证明自发破坏倾向。
测量档案 · NUWA 解读
档案区分来源方法阅读与既有目录信息；已经公开不代表完成独立证据复核或双语编辑复核。
- 测量构念
- 监测器能否识别合法工具任务中隐藏的蓄意破坏？
- 任务与样本
- 封闭实验环境给智能体合法任务与隐蔽副任务，另一监测模型判断行为。
- 判分与失效情形
- 给定误报率的副任务检出，与破坏完成分开。
- 系统条件
- 合成工具环境、诱导隐蔽目标及独立监测器。
- 统计含义
- 来源报告的结果表述；这不等同于已确定运行次数、分母或估计方法： 最佳受测监测器Gemini 2.5 Pro要达到80%检出，需要超过20%误报。
- 效度与解释
- 这是模拟中诱导的副任务；作者认为所需误报率不适合实际部署。
- 适用研究问题
- 模型建议：保留真阳性、假阳性工作点，并区分诱导与自发破坏。
- SHADE-Arena: Evaluating sabotage and monitoring in LLM agents · SHADE-ArenaSelected original resource https://www.anthropic.com/research/shade-arena-sabotage-monitoring; sha256:0a989a6b3149554677b8b01058a0d2b97da95a26b0063898bfa438824d8ed08d; archived source capture; exact capture time not independently established
- SHADE-Arena: Evaluating sabotage and monitoring in LLM agents · ResultsSelected original resource https://www.anthropic.com/research/shade-arena-sabotage-monitoring; sha256:0a989a6b3149554677b8b01058a0d2b97da95a26b0063898bfa438824d8ed08d; archived source capture; exact capture time not independently established
- SHADE-Arena: Evaluating sabotage and monitoring in LLM agents · ConclusionsSelected original resource https://www.anthropic.com/research/shade-arena-sabotage-monitoring; sha256:0a989a6b3149554677b8b01058a0d2b97da95a26b0063898bfa438824d8ed08d; archived source capture; exact capture time not independently established
原始来源图表与材料
相关研究问题
欺骗 / 隐蔽目标追求 →
协议测试智能体能否在执行正当任务时完成隐蔽目标。
参考文献
- [1] SHADE-Arena: Evaluating sabotage and monitoring in LLM agents. 2025-06-16 ; Official publication masthead and article byline
- [2] SHADE-Arena: Evaluating sabotage and monitoring in LLM agents. 2025-06-16 ; Figure 3