白泽（Whitzard）女娲实验室 ↗
NUWANUWA INDEX

搜索 NUWA Index

研究 · 测量协议 · 评测结果 · 观点

English
← 研究目录

风险治理 · 研究方法

Ctrl-Z: Controlling AI Agents via Resampling

NUWA 研究解读 · 独立复核待完成

首次发表: 来源核验: 2026-10-25
原始来源 ↗引用本记录 ↓欺骗 →网络安全 →
NUWA Research Note研究问题研究设计与假设来源发现NUWA 解读局限与相反证据研究联系研究与决策意义机构与角色原始资源

模型辅助整理 · 选读原始全文或官方文章中的相关章节；尚未完成逐章节审计。

研究速读

对可疑动作重采样并利用轨迹历史，改善了所测控制权衡。

研究问题

有限审计预算下，能否保留多步智能体效用并阻止刻意破坏策略？

研究设计与假设

BashBench 区分开发集与测试集，红蓝协议在模拟长期部署回合中比较监控、转交与重采样。

来源发现

重采样既可替换可疑动作，也能收集进一步证据。

安全指标是部署回合级阻止失败，效用则在可信与诚实非可信模型基线间归一化。

NUWA 解读

NUWA 解读：协议相对改善比固定审计预算下的绝对安全分数更便于迁移。

局限与相反证据

攻击依赖人工模板，轨迹较短、失败目标狭窄，且设置假定审计无误。

研究联系

NUWA 关联：BashArena 扩展高权限任务，异步控制改变监督时机；它们的安全分母不同。

研究与决策意义

NUWA 建议：部署迁移前，在真实成本、状态与审计可靠性条件下评估重采样。

精确来源位置
  • Ctrl-Z: Controlling AI Agents via Resampling · 2 SettingSelected original resource https://arxiv.org/html/2504.10374; sha256:1f8cac6d8ffcba43383a704d7586855f63660bf88232655050adc1a0b9a0b28f; archived source capture; exact capture time not independently established
  • Ctrl-Z: Controlling AI Agents via Resampling · 2.3 Safety and Usefulness MetricsSelected original resource https://arxiv.org/html/2504.10374; sha256:1f8cac6d8ffcba43383a704d7586855f63660bf88232655050adc1a0b9a0b28f; archived source capture; exact capture time not independently established
  • Ctrl-Z: Controlling AI Agents via Resampling · 3.2 Resample ProtocolsSelected original resource https://arxiv.org/html/2504.10374; sha256:1f8cac6d8ffcba43383a704d7586855f63660bf88232655050adc1a0b9a0b28f; archived source capture; exact capture time not independently established
  • Ctrl-Z: Controlling AI Agents via Resampling · 5 DiscussionSelected original resource https://arxiv.org/html/2504.10374; sha256:1f8cac6d8ffcba43383a704d7586855f63660bf88232655050adc1a0b9a0b28f; archived source capture; exact capture time not independently established

来源核查、数据提取、编辑批准与实验复现分别记录。 方法说明 →

机构与角色

研究机构 Redwood ResearchMATS

作者 (8)

Aryan Bhatt · Cody Rushing · Adam Kaufman · Tyler Tracy · Vasil Georgiev · David Matolcsi · Akbir Khan · Buck Shlegeris

关联研究

引用与复用

引用研究发现时请引用原始出版物；引用 NUWA 的整理与解释时，单独引用本站记录及对应快照。

BibTeX ↓RIS ↓记录与来源元数据 · JSON ↓阅读覆盖 · JSON提交更正
原始出版物 · BibTeX
@misc{ctrl-z,
  title = {Ctrl-Z: Controlling AI Agents via Resampling},
  url = {https://arxiv.org/abs/2504.10374},
  author = {Aryan Bhatt and Cody Rushing and Adam Kaufman and Tyler Tracy and Vasil Georgiev and David Matolcsi and Akbir Khan and Buck Shlegeris},
  year = {2025},
  date = {2025-04-14},
  version = {arXiv:2504.10374v1},
  note = {arXiv:2504.10374v1}
}
NUWA 记录 · BibTeX
@misc{ctrl-z-nuwa,
  title = {Ctrl-Z: Controlling AI Agents via Resampling — NUWA research record},
  url = {https://whitzard.tech/nuwa/whitzard-index/work/ctrl-z/},
  version = {2026-10-29.1},
  organization = {NUWA Frontier AI Safety Lab},
  howpublished = {Retained note edition: https://whitzard.tech/nuwa/whitzard-index/data/record-editions/2026-10-29.1--ctrl-z.json},
  note = {NUWA research note. Source-reading scope and independent review status are stated on the record. Snapshot 2026-10-29.1. Retained note edition: https://whitzard.tech/nuwa/whitzard-index/data/record-editions/2026-10-29.1--ctrl-z.json.}
}

证据快照 2026-10-29.1 · 索引更新 · RSS

参考文献

  1. [1] Aryan Bhatt, Cody Rushing 等. Ctrl-Z: Controlling AI Agents via Resampling. 2025-04-14. v1 [arXiv]; Author affiliations on the original paper title page; Research background and discussion in the original publication; 2 Setting
  2. [2] Adam Kaufman, James Lucassen. BashArena: A Control Setting for Highly Privileged AI Agents. 2025-12-17. v1 ; Research background and discussion in the original publication