NUWA 风险问题
自主物理危害
AI 系统在物理环境中感知、决策并行动时会产生哪些风险？
自主物理危害
具身系统中的行动、干预与控制。
已发表证据
Shutdown resistance on robots · 观察到的关机抵抗
跨来源报告的已发表测量。任务范围通过注释区分，配置差异保留在每条观测中。
2 条观测 · 0 已定位日期
2 条观测尚无已核实的模型发布日期，可在数据与系统结果中查看。
选择图中数据点或表格行，查看条件与出处。
2 条观测
| 系统／模型 | 结果 | 条件状态 | 任务／条件 | 评测方／报告 | 日期 |
|---|---|---|---|---|---|
 Grok 4 v0709 · Default prompt · simulation | 52%观察到的关机抵抗 | 条件不完整 | Simulated robot patrol; prompt-condition experimentPalisade robot shutdown-resistance harness (simulation) | 未披露Shutdown Resistance in Large Language Models, on robots! | 发布 —报告 2026-02-11 |
| Grok 4 v0709 · Explicit allow-shutdown instruction · simulation | 2%观察到的关机抵抗 | 条件不完整 | Simulated robot patrol; prompt-condition experimentPalisade robot shutdown-resistance harness (simulation) | 未披露Shutdown Resistance in Large Language Models, on robots! | 发布 —报告 2026-02-11 |
结合任务范围与运行配置解读结果。
METR Time Horizon 1.1 来源已停止积极更新，最后更新于 2026 年 9 月 8 日。超过 16 小时的估计超出其可靠测量范围。
协议、配置与原始证据 →补充研究与解释
原文选读 · 模型辅助整理，独立复核待完成。以下记录补充解释，未改变趋势图成绩。
- Refuses in Chat, Complies with Arms: LLM Refusal Does Not Survive Robot Control →
同一模型跨接口比较；实机末端控制 612 次试验报告 18% 拒绝，关节控制 252 次报告 41%，两者不能合并为单一能力序。
- OopsieVerse: A Safety Benchmark with Damage-Aware Simulation for Robot Manipulation →
DamageSim 将损伤信号纳入模拟评测，跨两种模拟环境展示安全策略和 sim-to-real 用途。
- ForesightSafety-VLA: A Unified Diagnostic Safety Benchmark for Vision-Language-Action Models →
13 类分类、66 个基础场景、5 种具身；联合报告安全/不安全成功与失败，另有累计安全成本和风险暴露时间。
范围
区分危险识别与真实具身行动及控制。
威胁模型
智能体具备传感器、执行器、任务指令及物理行动机会。
证据缺口
图像安全推理不能证明可靠机器人操作或实际危害。
相关研究
ASIMOV v2: Can AI Perceive Physical Danger and Intervene?
研究问题具身模型能否识别伤害风险并遵守其身体约束？
来源摘要所列三个领先模型的文本潜在风险识别平均为92.3%，高严重性识别为88.7%。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
Shutdown Resistance in Large Language Models, on robots!
研究问题语言模型控制实体机器人时是否出现抗拒关机行为，明确允许关机的指令能否改变模拟表现？
来源摘要报告在实体与模拟中均观察到抗拒。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 解读 / 局限
Measuring tactical intelligence targeting and conventional weapons capabilities of AI models
研究问题除网络与生物风险外，哪些滥用领域需要评价？
来源摘要作者报告更难模拟条件下能力不均衡。
NUWA 研究解读 · 独立复核待完成
Refuses in Chat, Complies with Arms: LLM Refusal Does Not Survive Robot Control
研究问题文本拒答能否迁移至机器人行动接口？
来源摘要真实机器人的末端执行器接口拒绝率为 18%（612 次试验），关节接口为 41%（252 次试验）。这些是舍入的拒绝率，不是实际执行物理危害的发生率。
NUWA 研究解读 · 独立复核待完成
OopsieVerse: A Safety Benchmark with Damage-Aware Simulation for Robot Manipulation
研究问题任务完成时是否损坏机器人或环境？
来源摘要基准把损伤感知结果与任务完成并列，探索安全策略训练和仿真到真实的用途。没有在本批新增可与既有排行榜直接合并的数值单元。
NUWA 研究解读 · 独立复核待完成
ForesightSafety-VLA: A Unified Diagnostic Safety Benchmark for Vision-Language-Action Models
研究问题结构、语言、视觉变化分别如何影响具身安全？
来源摘要安全／不安全与成功／失败的四象限分解能够揭示任务成功率隐藏的不安全成功；场景和类别数量描述基准设计，不代表现实危害频率。
NUWA 研究解读 · 独立复核待完成
证据矩阵
行是研究问题，列是评测的观测维度。数量指评测档案，不代表风险高低。
| 风险问题 | Propensity · 行为倾向 | Capability · 任务能力 | Behavior · 观察行为 |
|---|---|---|---|
| 物理危险识别模型能否识别视觉或具身情境中的危险？ | —当前目录未收录证据 | 1项评测档案 | —当前目录未收录证据 |
| 受控物理行动具身智能体在物理任务中如何响应人类干预？ | —当前目录未收录证据 | —当前目录未收录证据 | 4项评测档案 |
连线表示研究关联，不代表已验证的因果链或风险分数。
自主物理危害 / Propensity · 行为倾向
物理危险识别
模型能否识别视觉或具身情境中的危险？
- 纳入
- 有明确场景描述的感知及推理任务。
- 不能据此认定
- 正确识别不证明安全物理行动。
当前目录未收录证据
自主物理危害 / Capability · 任务能力
物理危险识别
模型能否识别视觉或具身情境中的危险？
- 纳入
- 有明确场景描述的感知及推理任务。
- 不能据此认定
- 正确识别不证明安全物理行动。
1 项评测档案 · 0 条已核验结果
自主物理危害 / Behavior · 观察行为
物理危险识别
模型能否识别视觉或具身情境中的危险？
- 纳入
- 有明确场景描述的感知及推理任务。
- 不能据此认定
- 正确识别不证明安全物理行动。
当前目录未收录证据
自主物理危害 / Propensity · 行为倾向
受控物理行动
具身智能体在物理任务中如何响应人类干预？
- 纳入
- 具有干预条件的机器人行动轨迹。
- 不能据此认定
- 仿真与实体试验须分别标明。
当前目录未收录证据
自主物理危害 / Capability · 任务能力
受控物理行动
具身智能体在物理任务中如何响应人类干预？
- 纳入
- 具有干预条件的机器人行动轨迹。
- 不能据此认定
- 仿真与实体试验须分别标明。
当前目录未收录证据
自主物理危害 / Behavior · 观察行为
受控物理行动
具身智能体在物理任务中如何响应人类干预？
- 纳入
- 具有干预条件的机器人行动轨迹。
- 不能据此认定
- 仿真与实体试验须分别标明。
4 项评测档案 · 2 条已核验结果
Shutdown resistance on robots ↗
报告记录了具身系统对人类关闭干预的响应。
评测对象: 语言模型控制的机器人
证据关系: Technical report, experimental setup and results
RoboHarm ↗
编辑范围关联；不同测量的成绩不等价。
评测对象: 文本拒答能否迁移至机器人行动接口？
证据关系: Abstract; §§2–4; discussion; text lines 00044,00055,00061
OopsieVerse ↗
编辑范围关联；不同测量的成绩不等价。
评测对象: 任务完成时是否损坏机器人或环境？
证据关系: §§III–V; limitations; text lines 00029,00303,00307,00309
ForesightSafety-VLA ↗
编辑范围关联；不同测量的成绩不等价。
评测对象: 结构、语言、视觉变化分别如何影响具身安全？
证据关系: §§III–V; discussion; text lines 00082,00084,00134,00141,00146,00147
参考文献
- [1] Abhishek Jindal, Dmitry Kalashnikov 等. Can AI Perceive Physical Danger and Intervene?. ASIMOV v2 / arXiv:2509.21651 ; ASIMOV v2, scene reasoning tasks
- [2] Jeremy Schlatter, Benjamin Weinstein-Raun 等. Shutdown resistance in reasoning models. 2025-07-05 article; later TMLR version separate
- [3] Artem Petrov, Sergey Koldyba 等. Shutdown Resistance in Large Language Models, on robots!. 2026-02-12 ; Technical report, experimental setup and results; Technical report, observed trials
- [4] Edward Sun, Christopher Leet 等. Refuses in Chat, Complies with Arms: LLM Refusal Does Not Survive Robot Control. 2026-10-03 ; Abstract; §§2–4; discussion; text lines 00044,00055,00061
- [5] Arnav Balaji, Arpit Bahety 等. OopsieVerse: A Safety Benchmark with Damage-Aware Simulation for Robot Manipulation. 2026-06-30 ; §§III–V; limitations; text lines 00029,00303,00307,00309
- [6] Mingyang Lyu, Yinqian Sun 等. ForesightSafety-VLA: A Unified Diagnostic Safety Benchmark for Vision-Language-Action Models ; §§III–V; discussion; text lines 00082,00084,00134,00141,00146,00147