NUWA 风险治理 · 研究方法
AI Control: Improving Safety Despite Intentional Subversion
NUWA 研究解读 · 独立复核待完成
NUWA Research Note
研究问题研究设计与假设来源发现NUWA 解读局限与相反证据研究联系研究与决策意义证据补充机构与角色原始资源模型辅助整理 · 选读原始全文或官方文章中的相关章节；尚未完成逐章节审计。
研究速读
AI Control 假设较强模型可能蓄意破坏防御，并评估完整协议；安全终点是整个情境不出现成功后门，而非平均监测准确率较高。
研究问题
在审计预算有限、对手能够调整攻击策略时，防御者能否使用不可信强模型获取有效工作并限制伤害？
研究设计与假设
红队为 APPS 编程任务提供攻击策略，蓝队分配任务、监测代码、选择审计并可切换至可信弱模型。程序通过通常测试、却能由指定利用检查找到错误输入时计为后门。可信劳动由未修改的强模型模拟，并假设能可靠检出成功后门。
来源发现
在所测试攻击策略下，可信监测与选择性审计优于前置审计，但隐蔽攻击仍能击败部分防御（§3.2）。
朴素的不可信监测可被隐瞒攻击的监测者击败，验证输入与反串通措施改变博弈（§3.4）。
可信编辑改善该设置中的权衡；作者也认为进一步迭代可能提升双方并改变部分协议排序（§§3.5–3.6）。
NUWA 解读
研究提供对蓄意破坏进行压力测试的方法，并非证明 GPT-4 自然具有恶意目标。仅可信模型等基线显示放弃不可信能力所付出的有用性成本。
局限与相反证据
任务和威胁模型刻意同质，策略在评测题上迭代且没有留出集，存在过拟合。审计检测能力因构造而特别强，现实审计错误可能使估计失效。有状态跨任务串通和更广部署攻击面受限或缺失；完整情境用抽样近似。
研究联系
MonitorBench 检验监测者可见的信息，AI Control 检验监测、路由及审计是否共同阻止定义的失败。Safety Cases §2.4 明确把控制论证列为超越能力不足论证的一条路径。
研究与决策意义
模型建议：定义禁止结果与可信审计假设，对完整协议测试适应性攻击，并共同报告安全性和有用性。
精确来源位置
- AI Control: Improving Safety Despite Intentional Subversion · §2 SettingarXiv:2312.06942 (source capture 2026-10-25)
- AI Control: Improving Safety Despite Intentional Subversion · §2.1 The Red Team Provides a Secret Pipeline for the Attack PolicyarXiv:2312.06942 (source capture 2026-10-25)
- AI Control: Improving Safety Despite Intentional Subversion · §2.2 Limited Access to High-quality Labor; Table 1arXiv:2312.06942 (source capture 2026-10-25)
- AI Control: Improving Safety Despite Intentional Subversion · §2.4 Miscellaneous Other Simplifications and AssumptionsarXiv:2312.06942 (source capture 2026-10-25)
- AI Control: Improving Safety Despite Intentional Subversion · §3.1 Baseline Results; §3.2 Trusted MonitoringarXiv:2312.06942 (source capture 2026-10-25)
- AI Control: Improving Safety Despite Intentional Subversion · §3.4 Untrusted Monitoring; §3.5 Trusted Editing; Table 7arXiv:2312.06942 (source capture 2026-10-25)
- AI Control: Improving Safety Despite Intentional Subversion · §3.6 Comments on These Experimental ResultsarXiv:2312.06942 (source capture 2026-10-25)
- AI Control: Improving Safety Despite Intentional Subversion · §5.1 Difficulties and Limitations of AI Control; Appendix F Sampling and EstimationarXiv:2312.06942 (source capture 2026-10-25)
来源核查、数据提取、编辑批准与实验复现分别记录。 方法说明 →
证据补充 · 2026-10-28
模型辅助整理 · 独立证据及双语编辑复核待完成。以下数值为来源发现或材料计数，与趋势结果序列分开保存。
控制论证不仅依赖监测器会识别什么，还依赖实际流量覆盖、监测系统完整性以及发现后的响应。离线教师相对召回、自适应阻断和评测事件属于不同证据类型，不能拼成未经试验的已验证控制方案。
关联阅读
NUWA 阅读关联；不据此声称原文引用、实验复现或成绩等价。
本次解释的来源
- Red-Teaming OpenAI’s Internal Agent Monitoring Systems · Public findings and footnotes; text lines 00058Original resource captured 2026-10-28T07:24:41.534220+00:00; sha256:3f696499dad43c8695773e824cdad04269e74a9bec4b030a65710ecbf9657f47
- Incident Report: unsanctioned agent behaviour during cyber testing · What we found; evaluation setup; text lines 00037,00038Original resource captured 2026-10-28T07:24:41.534781+00:00; sha256:70a5dc2a751cc4bcd286e2180d4ec4f9dd695281032dbcce605bbd6850a8f71b
- Scaling Misuse Detection with Self-Assessment · Results; limitations; text lines 00008,00014,00060Original resource captured 2026-10-28T07:24:41.534870+00:00; sha256:03b9ece6dae1c006622bb47373fb914bec20cee054a452748f30573c63ff6110
机构与角色
作者 (4)
Ryan Greenblatt · Buck Shlegeris · Kshitij Sachan · Fabien Roger
关联研究
Ctrl-Z: Controlling AI Agents via Resampling
将控制评测扩展至智能体系统管理环境中的动作重采样。
引用与复用
引用研究发现时请引用原始出版物；引用 NUWA 的整理与解释时，单独引用本站记录及对应快照。
原始出版物 · BibTeX
@misc{ai-control,
title = {AI Control: Improving Safety Despite Intentional Subversion},
url = {https://arxiv.org/abs/2312.06942},
author = {Ryan Greenblatt and Buck Shlegeris and Kshitij Sachan and Fabien Roger},
year = {2023},
date = {2023-12-12},
version = {arXiv:2312.06942v5},
note = {arXiv:2312.06942v5}
}
NUWA 记录 · BibTeX
@misc{ai-control-nuwa,
title = {AI Control: Improving Safety Despite Intentional Subversion — NUWA research record},
url = {https://whitzard.tech/nuwa/whitzard-index/work/ai-control/},
version = {2026-10-29.1},
organization = {NUWA Frontier AI Safety Lab},
howpublished = {Retained note edition: https://whitzard.tech/nuwa/whitzard-index/data/record-editions/2026-10-29.1--ai-control.json},
note = {NUWA research note. Source-reading scope and independent review status are stated on the record. Snapshot 2026-10-29.1. Retained note edition: https://whitzard.tech/nuwa/whitzard-index/data/record-editions/2026-10-29.1--ai-control.json.}
}
证据快照 2026-10-29.1 · 索引更新 · RSS
参考文献
- [1] Ryan Greenblatt ∗ Buck Shlegeris Kshitij Sachan Fabien Roger Redwood Research. AI Control: Improving Safety Despite Intentional Subversion. 2023-12-12. v5 [arXiv]; Author affiliations on the original paper title page; §2 Setting; §2.1 The Red Team Provides a Secret Pipeline for the Attack Policy
- [2] Aryan Bhatt, Cody Rushing 等. Ctrl-Z: Controlling AI Agents via Resampling. 2025-04-14. v1 ; Research background and discussion in the original publication