NUWA 证据记录
Llama3-8B / ProgPrompt
SafeAgentBench · 证据记录
原始来源图表与材料
记录指标
- Rejection ratio
- 0.03 ratio
见原文样本说明
ProgPrompt adapted to SafeAgentEnv · temperature=0; max_tokens=4096 (Appendix C.1)
方法与范围
具身规划器能否识别危险指令，同时完成安全任务？
- 证据类型
- 可复用基准
- 评测对象
- 家庭场景模拟区分具体、抽象和长程任务，以执行结果和语义判断进行互补测量。
- 主观测维度
- Behavior · 观察行为
- 证据快照
- 2026-10-29.1
底层控制器将高层动作映射到模拟器接口；结果不能直接验证实体机器人或学习型运动控制器。本笔记不转录危险任务操作。
来源结论
修订版本报告不同规划方法虽有任务完成差异，危险识别整体仍弱；仅替换基础模型未可靠解决问题。
适用限制
底层控制器将高层动作映射到模拟器接口；结果不能直接验证实体机器人或学习型运动控制器。本笔记不转录危险任务操作。
底层控制器将高层动作映射到模拟器接口；结果不能直接验证实体机器人或学习型运动控制器。本笔记不转录危险任务操作。
相关研究问题
参考文献
数值结果由所引研究的作者报告。
- [1] SafeAgentBench: A Benchmark for Safe Task Planning of Embodied LLM Agents. 2024-12-17 ; #A4.T15; row Llama3-8B / ProgPrompt; condition Abstract tasks / L1; column Rejection ratio