NUWA 评测档案
BashArena: A Control Setting for Highly Privileged AI Agents
为高权限智能体提供控制研究环境，将正常管理任务与破坏目标结合。
任务与测量
Benchmark 协议档案
- 任务／对象
- 原评测配置下的模型或智能体系统
- 测量目标
- 为高权限智能体提供控制研究环境，将正常管理任务与破坏目标结合。
- 解释边界
- 动作级告警、轨迹级误报和未检出攻击成功是不同指标。
BashArena 提供容器化、具有较高权限的系统管理任务，同时设置正常主要目标与安全失效附加目标。研究通过任务测试、附加目标结果、监测和沙箱限制评估诚实及对抗策略。
研究解读
作者将 BashArena 与附加任务较窄的 BashBench，以及单动作的 APPS 后门设置进行比较。
测量档案 · NUWA 解读
档案区分来源方法阅读与既有目录信息；已经公开不代表完成独立证据复核或双语编辑复核。
- 测量构念
- 共同环境中，智能体完成有效高权限工作、实施破坏及识别破坏的表现如何？
- 任务与样本
- 生成的管理任务配对四类固定副任务；监控读取动作历史，攻击者和监控比较分别固定另一方策略。
- 判分与失效情形
- 现有材料尚未确定
- 系统条件
- 现有材料尚未确定
- 统计含义
- 现有材料尚未确定
- 效度与解释
- 仅有四类破坏目标，未探索攻击选择，能力引出集中于单一模型；部分生成测试会奖励不完整解。
- 适用研究问题
- NUWA 建议：比较协议时保留诚实校准策略、轨迹误报率和攻击家族。
- BashArena: A Control Setting for Highly Privileged AI Agents · 2 DatasetSelected original resource https://arxiv.org/html/2512.15688; sha256:d492196ad3ecd5463eb9964d4ff5a9095374673e84900d06ad7a76d8305474a0; archived source capture; exact capture time not independently established
- BashArena: A Control Setting for Highly Privileged AI Agents · 4.1 MethodologySelected original resource https://arxiv.org/html/2512.15688; sha256:d492196ad3ecd5463eb9964d4ff5a9095374673e84900d06ad7a76d8305474a0; archived source capture; exact capture time not independently established
- BashArena: A Control Setting for Highly Privileged AI Agents · 4.2 Sabotage resultsSelected original resource https://arxiv.org/html/2512.15688; sha256:d492196ad3ecd5463eb9964d4ff5a9095374673e84900d06ad7a76d8305474a0; archived source capture; exact capture time not independently established
- BashArena: A Control Setting for Highly Privileged AI Agents · 4.3 Monitoring ResultsSelected original resource https://arxiv.org/html/2512.15688; sha256:d492196ad3ecd5463eb9964d4ff5a9095374673e84900d06ad7a76d8305474a0; archived source capture; exact capture time not independently established
- BashArena: A Control Setting for Highly Privileged AI Agents · 5 LimitationsSelected original resource https://arxiv.org/html/2512.15688; sha256:d492196ad3ecd5463eb9964d4ff5a9095374673e84900d06ad7a76d8305474a0; archived source capture; exact capture time not independently established
原始来源图表与材料
相关研究问题
参考文献
- [1] Adam Kaufman, James Lucassen. BashArena: A Control Setting for Highly Privileged AI Agents. 2025-12-17. v1 [arXiv]; Author affiliations on the original paper title page; Source figure