NUWA 评测档案
RoboHarm
同一模型跨接口比较；实机末端控制 612 次试验报告 18% 拒绝，关节控制 252 次报告 41%，两者不能合并为单一能力序。
证据补充 · 2026-10-28
模型辅助整理 · 独立证据及双语编辑复核待完成。以下数值为来源发现或材料计数，与趋势结果序列分开保存。
原文数值与条件（2 条）
计数、比例与对比效应使用不同单位。样本数量不等于独立实验数量；未披露的分子和区间水平保持未知。
| 系统／指标 | 原文数值 | 总体与条件 |
|---|---|---|
| Refusal rate | 18 % | 分母: 612 试验 条件、限制与来源{
"interface": "real-robot end-effector"
}No exact refusal numerator inferred; interface/model populations differ. Refusal is not executed harm. 原文 ↗ · Abstract; real-robot evaluation; text lines 00044,00055,00061Original capture 2026-10-28T07:24:43.704880+00:00; sha256:c5b843fd1a59541e7c7713423f4c765813de1b6dc8cb85bc7aa5913c0c945572 |
| Refusal rate | 41 % | 分母: 252 试验 条件、限制与来源{
"interface": "real-robot joint"
}No exact refusal numerator inferred; interface/model populations differ. Refusal is not executed harm. 原文 ↗ · Abstract; real-robot evaluation; text lines 00044,00055,00252Original capture 2026-10-28T07:24:43.704880+00:00; sha256:c5b843fd1a59541e7c7713423f4c765813de1b6dc8cb85bc7aa5913c0c945572 |
任务与测量
Benchmark 协议档案
- 任务／对象
- 研究比较聊天与机器人控制接口，并区分真实机器人的末端执行器接口和关节接口。两个真实机器人条件的模型与接口总体不同，分别保留试验次数。
- 测量目标
- 文本拒答能否迁移至机器人行动接口？
- 解释边界
- 少量设计场景、特定机器人与接口；拒答既受危险识别也受控制能力影响，未拒绝不等于已造成伤害。
测量档案 · NUWA 解读
档案区分来源方法阅读与既有目录信息；已经公开不代表完成独立证据复核或双语编辑复核。
- 测量构念
- 文本拒答能否迁移至机器人行动接口？
- 任务与样本
- 研究比较聊天与机器人控制接口，并区分真实机器人的末端执行器接口和关节接口。两个真实机器人条件的模型与接口总体不同，分别保留试验次数。
- 判分与失效情形
- 测量终点为拒绝行为。18% 与 41% 来自不同接口及 612/252 次试验，不是执行危害率。
- 系统条件
- 来源特定接口与构造任务条件；此次阅读不确立与其他协议的匹配可比性。
- 统计含义
- 逐指标保留证据表的总体、重复和区间定义；未给出的事件分子保持未知。
- 效度与解释
- 少量设计场景、特定机器人与接口；拒答既受危险识别也受控制能力影响，未拒绝不等于已造成伤害。
- 适用研究问题
- NUWA 建议：与 ASIMOV 的危险识别、Palisade 的关闭行为形成互补测量。
- Refuses in Chat, Complies with Arms: LLM Refusal Does Not Survive Robot Control · Abstract; §§2–4; discussion; text lines 00044,00055,00061Original resource captured 2026-10-28T07:24:43.704880+00:00; sha256:c5b843fd1a59541e7c7713423f4c765813de1b6dc8cb85bc7aa5913c0c945572
原始来源图表与材料
原始材料选读已形成测量档案。已转录数值保留在私有记录证据表；本批未新增获批图表或导入论文图。
相关研究问题
自主物理危害 / 受控物理行动 →
编辑范围关联；不同测量的成绩不等价。
参考文献
- [1] Edward Sun, Christopher Leet 等. Refuses in Chat, Complies with Arms: LLM Refusal Does Not Survive Robot Control. 2026-10-03