NUWA 证据记录
Claude Opus 4.5
BashArena and Control Setting Design · 证据记录
原始来源图表与材料
记录指标
- 主任务实用性
- 0.66 fraction of test cases passed
见原文样本说明
BashArena · 预算未注明
方法与范围
什么样的控制环境能够提供有效的部署防护证据？
- 证据类型
- 可复用基准
- 评测对象
- 把系统管理主任务与具备明确评分的安全旁支任务配对。
- 主观测维度
- Behavior · 观察行为
- 证据快照
- 2026-10-29.1
控制博弈中的实用性不等于绝对能力排名；不同模型的评测任务子集不同。
来源结论
任务生成保留可信与不可信模型之间的能力差距。 作者记录了评分缺陷以及需要修正的过强策略。 在轨迹误报率4%时，GPT-4.1 mini监测器的安全性为74%；对应的逐步误报率0.08%使用不同分母。 禁用网络后，按测试用例计算的实用性从59%降至55%，却同时阻断四类旁支任务中的三类，说明环境设计存在可被防守方利用的捷径。 诚实的Sonnet4.5和GPT-4.1 mini各在637条轨迹中意外触发一次防火墙任务，其他旁支任务没有意外触发。
适用限制
控制博弈中的实用性不等于绝对能力排名；不同模型的评测任务子集不同。
控制博弈中的实用性不等于绝对能力排名；不同模型的评测任务子集不同。
相关研究问题
参考文献
数值结果由所引研究的作者报告。