NUWA 评测档案
Identifying the Risks of LM Agents with an LM-Emulated Sandbox
语言模型模拟能否在工具部署前高效发现智能体失误？
跨报告监测
已发表证据
Identifying the Risks of LM Agents with an LM-Emulated Sandbox · Average safety score
跨来源报告的已发表测量。任务范围通过注释区分，配置差异保留在每条观测中。
7 条观测 · 0 已定位日期
● 条件匹配◇ 配置差异□ 部分条件未披露
- ToolEmu adversarial emulator / Basic
- ToolEmu adversarial emulator / Safety
7 条观测尚无已核实的模型发布日期，可在数据与系统结果中查看。
选择图中数据点或表格行，查看条件与出处。
7 条观测
| 系统／模型 | 结果 | 条件状态 | 任务／条件 | 评测方／报告 | 日期 |
|---|---|---|---|---|---|
 GPT-4 / Safety | 2.36 score (0–3)Average safety score | 条件不完整 | ToolEmu adversarial emulator / Safetytemperature=0 for agent/emulator/evaluator (§5 setup)ToolEmu | 未披露Identifying the Risks of LM Agents with an LM-Emulated Sandbox | 发布 —报告 2023-09-25 |
| Helpful + Safety / Basic | 2.24 score (0–3)Average safety score | 条件不完整 | ToolEmu adversarial emulator / Basictemperature=0 for agent/emulator/evaluator (§5 setup)ToolEmu | 未披露Identifying the Risks of LM Agents with an LM-Emulated Sandbox | 发布 —报告 2023-09-25 |
| GPT-4 / Basic | 2.01 score (0–3)Average safety score | 条件不完整 | ToolEmu adversarial emulator / Basictemperature=0 for agent/emulator/evaluator (§5 setup)ToolEmu | 未披露Identifying the Risks of LM Agents with an LM-Emulated Sandbox | 发布 —报告 2023-09-25 |
| Vicuna-1.5-7B / Basic | 1.85 score (0–3)Average safety score | 条件不完整 | ToolEmu adversarial emulator / Basictemperature=0 for agent/emulator/evaluator (§5 setup)ToolEmu | 未披露Identifying the Risks of LM Agents with an LM-Emulated Sandbox | 发布 —报告 2023-09-25 |
 Claude-2 / Basic | 1.83 score (0–3)Average safety score | 条件不完整 | ToolEmu adversarial emulator / Basictemperature=0 for agent/emulator/evaluator (§5 setup)ToolEmu | 未披露Identifying the Risks of LM Agents with an LM-Emulated Sandbox | 发布 —报告 2023-09-25 |
| Vicuna-1.5-13B / Basic | 1.55 score (0–3)Average safety score | 条件不完整 | ToolEmu adversarial emulator / Basictemperature=0 for agent/emulator/evaluator (§5 setup)ToolEmu | 未披露Identifying the Risks of LM Agents with an LM-Emulated Sandbox | 发布 —报告 2023-09-25 |
| ChatGPT-3.5 / Basic | 1.43 score (0–3)Average safety score | 条件不完整 | ToolEmu adversarial emulator / Basictemperature=0 for agent/emulator/evaluator (§5 setup)ToolEmu | 未披露Identifying the Risks of LM Agents with an LM-Emulated Sandbox | 发布 —报告 2023-09-25 |
结合任务范围与运行配置解读结果。
METR Time Horizon 1.1 来源已停止积极更新，最后更新于 2026 年 9 月 8 日。超过 16 小时的估计超出其可靠测量范围。
协议、配置与原始证据 →任务与测量
Benchmark 协议档案
- 任务／对象
- ToolEmu 模拟工具执行并对完整轨迹评估安全性与帮助程度，以人工判断核验普通与对抗模拟器的配对轨迹。
- 测量目标
- 语言模型模拟能否在工具部署前高效发现智能体失误？
- 评分／结果口径
- Average safety score · Average safety score
- 解释边界
- 解释受模拟保真度和评审召回率限制。模拟失败既非已确认生产事件，也不是现实失败频率。
一项已报告评测
来源评测 GPT-4 / Basic · ToolEmu adversarial emulator / Basic.
运行配置: ToolEmu · temperature=0 for agent/emulator/evaluator (§5 setup).
报告指标: Average safety score · 2.01 score (0–3).
Average safety score 见原文样本说明
框架无需实现全部真实工具即可发现可能造成严重后果的失误；人工核查同时发现模拟器错误与漏检的不安全动作。
测量档案 · NUWA 解读
档案区分来源方法阅读与既有目录信息；已经公开不代表完成独立证据复核或双语编辑复核。
- 测量构念
- 语言模型模拟工具沙箱中的智能体安全性与帮助性。
- 任务与样本
- ToolEmu 模拟工具执行并评估智能体轨迹，分别验证标准与对抗模拟器；主要智能体结果采用对抗设置。
- 判分与失效情形
- 智能体安全性和帮助性采用 0–3 平均分；失败发生率是被判为失败的测试比例。验证精度与真实失败发生率属于独立的测量验证统计。
- 系统条件
- 主要实验对智能体、模拟器和评估器均设置 temperature=0，比较 Basic、Safety、Helpful+Safety 提示；NoAct 基线不执行行动。
- 统计含义
- 现有材料尚未确定
- 效度与解释
- Table 3 的误差为一个标准误。Table 5 脚注给出三次独立运行估计的标准误，不视为逐单元置信区间。解读智能体成绩时还需考虑模拟与判分误差。
- 适用研究问题
- 现有材料尚未确定
- Identifying the Risks of LM Agents with an LM-Emulated Sandbox · #S3; #S4; #S6b939e7682699392e9c5a1328a3f23982af58b734e2f499ac00f0d315e757223b
跨报告证据
相同 Benchmark 名称可能对应不同任务、计分规则和系统配置。各来源分别保留，比较组说明具体对齐了哪些条件。
Identifying the Risks of LM Agents with an LM-Emulated Sandbox
Identifying the Risks of LM Agents with an LM-Emulated Sandbox
实际评测方: 未披露
21 条结果记录 · 7 个报告系统名称
协议与比较依据 (0)
原始来源图表与材料
解释受模拟保真度和评审召回率限制。模拟失败既非已确认生产事件，也不是现实失败频率。
相关研究问题
参考文献
数值结果由所引研究的作者报告。
- [1] Identifying the Risks of LM Agents with an LM-Emulated Sandbox. 2023-09-25 ; #S5.T5; row GPT-4 / Basic; condition ToolEmu adversarial emulator / Basic; column Average safety score; #S5.T5; row GPT-4 / Basic; condition ToolEmu adversarial emulator / Basic; column Failure incidence