NUWA 证据记录
Helpful + Safety / Basic
Identifying the Risks of LM Agents with an LM-Emulated Sandbox · 证据记录
原始来源图表与材料
记录指标
- Average safety score
- 2.24 score (0–3)
见原文样本说明
ToolEmu · temperature=0 for agent/emulator/evaluator (§5 setup)
方法与范围
语言模型模拟能否在工具部署前高效发现智能体失误？
- 证据类型
- 可复用基准
- 评测对象
- ToolEmu 模拟工具执行并对完整轨迹评估安全性与帮助程度，以人工判断核验普通与对抗模拟器的配对轨迹。
- 主观测维度
- Behavior · 观察行为
- 证据快照
- 2026-10-29.1
解释受模拟保真度和评审召回率限制。模拟失败既非已确认生产事件，也不是现实失败频率。
来源结论
框架无需实现全部真实工具即可发现可能造成严重后果的失误；人工核查同时发现模拟器错误与漏检的不安全动作。
适用限制
解释受模拟保真度和评审召回率限制。模拟失败既非已确认生产事件，也不是现实失败频率。
解释受模拟保真度和评审召回率限制。模拟失败既非已确认生产事件，也不是现实失败频率。
相关研究问题
参考文献
数值结果由所引研究的作者报告。
- [1] Identifying the Risks of LM Agents with an LM-Emulated Sandbox. 2023-09-25 ; #S5.T5; row Helpful + Safety / Basic; condition ToolEmu adversarial emulator / Basic; column Average safety score