← 研究报告

NUWA 研究分析 · 模型辅助整理 · 独立复核待完成

从可见推理到可辩护的安全论证

监测产生证据，控制协议据此采取行动，安全案例解释协议与假设为何支持特定决策。一个层级成功不能自动证明下一层级成立。

证据快照 2026-10-28.2 · 2026-10-27

证据与论证

MonitorBench 检验指定消息可见范围及压力条件下的已知决策因素是否可见。AI Control 面对适应性的蓄意破坏，衡量完整协议的安全性与有用性。Safety Cases 则要求显式连接系统证据、假设与运行情境主张。Misuse Safety Case 提供一条示例推理链：红队投入曲线、风险模型、持续评测与响应承诺。这些来源不能证明高可见性分数就是部署安全认证，也不能证明控制结果覆盖外部滥用路径。

可见性是有条件的证据

MonitorBench 区分验收、干预归因和监测标记；隐瞒影响随任务与消息范围变化。

来源发现

MonitorBench: A Comprehensive Benchmark for Chain-of-Thought Monitorability in Large Language Models · §§3.1–3.3,4.1–4.3

完整防御决定终点

AI Control 将监测与审计、路由和回退结合；即便监测者具备识别问题能力，朴素不可信监测仍可失败。

来源发现

AI Control: Improving Safety Despite Intentional Subversion · §§2,3.2–3.6,5.1

安全论证需显示连接假设

安全案例需要情境特定顶层主张和连接的子主张；滥用示例还依赖行为者建模与响应承诺，这些并非监测分数提供的观测。

NUWA 解读

Safety Cases: A scalable approach to Frontier AI safety · §§2.1–2.4,3.1–3.2,4; PDF pp.2–14

An example safety case for safeguards against misuse · §§2.4–2.7,3–4

局限与待验证假设

监测任务提供已知构造因素，控制博弈采用格外可靠的审计和较窄威胁模型，安全案例属于方法或假设示例。除非独立论证连接假设，不确定性会累积。没有共同部署实验或实证认证。

后续研究问题

模型建议：定义禁止结果，追踪哪些监测信号触发何种干预，测试审计及响应失败，并把每个假设和反驳条件绑定来源版本。部署决策仍由获授权的人类决策者承担。

参考文献

[1] Han Wang, Yifan Sun 等. MonitorBench: A Comprehensive Benchmark for Chain-of-Thought Monitorability in Large Language Models. v2 ; §§3.1–3.3,4.1–4.3
[2] Ryan Greenblatt ∗ Buck Shlegeris Kshitij Sachan Fabien Roger Redwood Research. AI Control: Improving Safety Despite Intentional Subversion ; §§2,3.2–3.6,5.1
[3] Safety Cases: A scalable approach to Frontier AI safety. 2025-02-10 ; §§2.1–2.4,3.1–3.2,4; PDF pp.2–14
[4] An example safety case for safeguards against misuse. 2025-06-05 ; §§2.4–2.7,3–4