白泽(Whitzard)女娲实验室 ↗
NUWANUWA INDEX

搜索 NUWA Index

研究 · 测量协议 · 评测结果 · 观点

English

RESEARCH RECORD

Retrying vs Resampling in AI Control

· Redwood Research

原始文献 ↗ · BibTeX · RIS

重试反馈可能帮助对手适应监测器。旧环境中有效的聚合策略可能在新设置中降低安全性。在简化成本模型中,每步额外四次采样带来10.2个百分点的安全性增益;每步额外0.4次采样可恢复6.2个百分点。对应审计预算为良性动作的0.3%。

研究问题

控制协议能否迁移到新环境和更强模型?

设计与前提

在固定审计预算下比较 BashArena 中的重试与重新采样。

研究发现

重试反馈可能帮助对手适应监测器。

旧环境中有效的聚合策略可能在新设置中降低安全性。

在简化成本模型中,每步额外四次采样带来10.2个百分点的安全性增益;每步额外0.4次采样可恢复6.2个百分点。对应审计预算为良性动作的0.3%。

局限与反证

多数结果不包含攻击选择,成本模型简化,不能构成部署保证。

来源证据

系统测量原值条件与位置
—audit-budget0.3%%n = 1000 At most 3 audited steps per 1000 honest steps; action-level budgetL41
—marginal-samples0.4extra samples per stepExpected additional sampling, not number of independent experimentsL75
—每步额外四次采样的安全性增益+10.2 pppercentage pointsBashArena; Opus4.6 untrusted, MiMo-V2-Flash trusted; 0.3% action-level audit budget; simplified equal marginal inference cost/latency model; 4 extra samples per original stepL75
—采用十分之一额外成本的安全性增益+6.2 pppercentage pointsBashArena; Opus4.6 untrusted, MiMo-V2-Flash trusted; 0.3% action-level audit budget; simplified equal marginal inference cost/latency model; 0.4 extra samples per stepL75
Claude Opus 4.6 attack policy条件攻击一致性80%%Probability of attack on independent sample given attack on original sample from same step; not trajectory success; default attack policyL54,L90
阅读范围与复核

Selected substantive passages of original institutional article; linked full paper, data and figures not independently audited

模型辅助整理,独立证据复核待完成。

核对原始来源 ↗