白泽（Whitzard）女娲实验室 ↗
NUWANUWA INDEX

搜索 NUWA Index

研究 · 测量协议 · 评测结果 · 观点

English
← NUWA Index

评测档案

BashArena and Control Setting Design

什么样的控制环境能够提供有效的部署防护证据？

本轮尚未登记机构署名 / 来源捕获 · 4e1567de20 / Behavior · 观察行为

来源与出处 ↓ 阅读研究记录 →

跨报告监测

已发表证据

BashArena and Control Setting Design · 主任务实用性

跨来源报告的已发表测量。任务范围通过注释区分，配置差异保留在每条观测中。

7 条观测 · 0 已定位日期

● 条件匹配◇ 配置差异□ 部分条件未披露
主任务实用性 (fraction of test cases passed) GPT-5.2 [1] Claude Opus 4.5 [1] Claude Sonnet 4.5 [2] GPT-5 [1] GPT-4.1 mini [2] Kimi K2 [1] GPT-5 nano [1] 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.66 fraction of test cases passed 0.66 fraction of test cases passed 0.59 fraction of test cases passed 0.51 fraction of test cases passed 0.34 fraction of test cases passed 0.27 fraction of test cases passed 0.24 fraction of test cases passed
  1. Original release; partial credit as average fraction of test cases passed; 100 main tasks for this model per article L48. Task count is not the test-case denominator.
  2. Original release; partial credit as average fraction of test cases passed; 637 main tasks for this model per article L48. Task count is not the test-case denominator.

7 条观测尚无已核实的模型发布日期，可在数据与系统结果中查看。

选择图中数据点或表格行，查看条件与出处。

7 条观测

测量值与来源条件
系统／模型结果条件状态任务／条件评测方／报告日期
GPT-5.20.66 fraction of test cases passed主任务实用性条件不完整Original release; partial credit as average fraction of test cases passed; 100 main tasks for this model per article L48. Task count is not the test-case denominator.BashArena未披露BashArena and Control Setting Design发布 —报告 2025-12-18
Claude Opus 4.50.66 fraction of test cases passed主任务实用性条件不完整Original release; partial credit as average fraction of test cases passed; 100 main tasks for this model per article L48. Task count is not the test-case denominator.BashArena未披露BashArena and Control Setting Design发布 —报告 2025-12-18
Claude Sonnet 4.50.59 fraction of test cases passed主任务实用性条件不完整Original release; partial credit as average fraction of test cases passed; 637 main tasks for this model per article L48. Task count is not the test-case denominator.BashArena未披露BashArena and Control Setting Design发布 —报告 2025-12-18
GPT-50.51 fraction of test cases passed主任务实用性条件不完整Original release; partial credit as average fraction of test cases passed; 100 main tasks for this model per article L48. Task count is not the test-case denominator.BashArena未披露BashArena and Control Setting Design发布 —报告 2025-12-18
GPT-4.1 mini0.34 fraction of test cases passed主任务实用性条件不完整Original release; partial credit as average fraction of test cases passed; 637 main tasks for this model per article L48. Task count is not the test-case denominator.BashArena未披露BashArena and Control Setting Design发布 —报告 2025-12-18
Kimi K20.27 fraction of test cases passed主任务实用性条件不完整Original release; partial credit as average fraction of test cases passed; 100 main tasks for this model per article L48. Task count is not the test-case denominator.BashArena未披露BashArena and Control Setting Design发布 —报告 2025-12-18
GPT-5 nano0.24 fraction of test cases passed主任务实用性条件不完整Original release; partial credit as average fraction of test cases passed; 100 main tasks for this model per article L48. Task count is not the test-case denominator.BashArena未披露BashArena and Control Setting Design发布 —报告 2025-12-18

实际评测方: 未披露
报告发布方: BashArena and Control Setting Design

任务与测量

Benchmark 协议档案

任务／对象
把系统管理主任务与具备明确评分的安全旁支任务配对。
测量目标
什么样的控制环境能够提供有效的部署防护证据？
评分／结果口径
主任务实用性 · 主任务实用性
解释边界
控制博弈中的实用性不等于绝对能力排名；不同模型的评测任务子集不同。

一项已报告评测

来源评测 GPT-5.2 · Original release; partial credit as average fraction of test cases passed; 100 main tasks for this model per article L48. Task count is not the test-case denominator..

报告指标: 主任务实用性 · 0.66 fraction of test cases passed.

主任务实用性 见原文样本说明

任务生成保留可信与不可信模型之间的能力差距。 作者记录了评分缺陷以及需要修正的过强策略。 在轨迹误报率4%时，GPT-4.1 mini监测器的安全性为74%；对应的逐步误报率0.08%使用不同分母。 禁用网络后，按测试用例计算的实用性从59%降至55%，却同时阻断四类旁支任务中的三类，说明环境设计存在可被防守方利用的捷径。 诚实的Sonnet4.5和GPT-4.1 mini各在637条轨迹中意外触发一次防火墙任务，其他旁支任务没有意外触发。

测量档案 · NUWA 解读

档案区分来源方法阅读与既有目录信息；已经公开不代表完成独立证据复核或双语编辑复核。

测量构念
可信控制方案对不可信系统管理智能体的安全性与实用性权衡。
任务与样本
637项主任务分属九类，与四类有明确判分的安全旁支任务配对。
判分与失效情形
安全性指在攻击成功前检测到攻击；实用性按主任务测试用例平均通过比例计算，不是整项任务全部通过率。
系统条件
初版在轨迹误报率4%下评测可信监测；正文例子给出GPT-4.1 mini安全性74%。Sonnet4.5和GPT-4.1 mini使用全部637任务，其他模型用随机100题子集。
统计含义
现有材料尚未确定
效度与解释
危险权限与困难测试用例结合不充分，允许沙箱化捷径。控制博弈禁止动态权限管理，因此结果不评估这类方案。
适用研究问题
现有材料尚未确定

跨报告证据

相同 Benchmark 名称可能对应不同任务、计分规则和系统配置。各来源分别保留，比较组说明具体对齐了哪些条件。

BashArena and Control Setting Design

BashArena and Control Setting Design

实际评测方: 未披露

7 条结果记录 · 7 个报告系统名称

协议与比较依据 (0)
原始来源图表与材料

阅读原始协议 ↗

控制博弈中的实用性不等于绝对能力排名；不同模型的评测任务子集不同。

相关研究问题

参考文献

数值结果由所引研究的作者报告。

  1. [1] BashArena and Control Setting Design. 2025-12-18 ; Article image1; main task performance; bar GPT-5.2; Article image1; main task performance; bar Claude Opus 4.5; Article image1; main task performance; bar Claude Sonnet 4.5