BashArena: A Control Setting for Highly Privileged AI Agents
研究问题共同环境中,智能体完成有效高权限工作、实施破坏及识别破坏的表现如何?
来源摘要安全指标的分母排除了未检测到但也未成功的攻击。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限 / 关联
研究机构
角色与署名遵循所引原始资料。来源核验不等于独立复现实验。
更多筛选 →研究问题共同环境中,智能体完成有效高权限工作、实施破坏及识别破坏的表现如何?
来源摘要安全指标的分母排除了未检测到但也未成功的攻击。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限 / 关联
研究问题为何要保留自然语言推理作为监督信号?
来源摘要作者认为思维链可揭示不良行为和评测故障。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限
研究问题有限审计预算下,能否保留多步智能体效用并阻止刻意破坏策略?
来源摘要重采样既可替换可疑动作,也能收集进一步证据。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限 / 关联
研究问题即使内部受监控智能体试图外传敏感信息,哪些证据可支持它无法成功?
来源摘要论证要求代理中的控制不强于部署,攻击不弱于可部署攻击。
NUWA 研究解读 · 独立复核待完成
研究问题生产模型能否为保留在其他情境表达的偏好,而在预期训练期间策略性服从?
来源摘要提示结果同时出现服从变化与被分类为策略性伪装对齐的推理(图 5)。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 解读 / 局限
研究问题开放式机器学习研究工程中,智能体与专家表现如何?
来源摘要82%的专家尝试得分非零,24%达到或超过参考解。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
研究问题欺骗性条件行为一旦存在,常规安全训练是否可靠地移除它?
来源摘要部分后门在这些干预后仍存在。
NUWA 研究解读 · 独立复核待完成
研究问题在审计预算有限、对手能够调整攻击策略时,防御者能否使用不可信强模型获取有效工作并限制伤害?
来源摘要在所测试攻击策略下,可信监测与选择性审计优于前置审计,但隐蔽攻击仍能击败部分防御(§3.2)。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限