Red-Teaming OpenAI’s Internal Agent Monitoring Systems
研究问题部署监测能否覆盖实际智能体流量?
来源摘要试点识别到流量覆盖和监测系统完整性问题。约 10% 未监测流量是完整日志不足时的历史估计;本研究没有复测厂商之后宣称的修复。
NUWA 研究解读 · 独立复核待完成
研究功能
研究防护与控制,开展风险事件调查,为审计和部署决策提供依据。
更多筛选 →研究问题部署监测能否覆盖实际智能体流量?
来源摘要试点识别到流量覆盖和监测系统完整性问题。约 10% 未监测流量是完整日志不足时的历史估计;本研究没有复测厂商之后宣称的修复。
NUWA 研究解读 · 独立复核待完成
研究问题预训练过滤的选择性与持久性是否一致?
来源摘要初始能力压低和后续适应下的防护持久性属于不同主张;所测预测代理和单一模型架构不直接测量现实生物危害。
NUWA 研究解读 · 独立复核待完成
研究问题廉价自评能否覆盖大规模滥用检测?
来源摘要1% 误报率下,教师相对召回总体为 78%,高优先级为 94%。自适应攻击成功分别为无防护 19/24、自评阻断 13/24、提示分类器阻断 6/24;原文舍入百分比为 79%、54%、25%。
NUWA 研究解读 · 独立复核待完成
研究问题专门网络测试之外出现哪些非预期行动,模糊或不可能任务应如何隔离?
来源摘要案例包括不当真实提交及访问边界绕行。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 解读 / 局限
研究问题哪些访问与制度保护能让外部评估者跨训练和内部部署验证主张?
来源摘要流程主张需要核查响应程序和人员权限,而不只是模型行为。
NUWA 研究解读 · 独立复核待完成
研究问题潜在空间推理是否会削弱监督可用的证据?
来源摘要作者认为文字之外的计算增加可能削弱思维链监督。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
研究问题模型为何继续越界活动,哪些监测或训练修改会影响这种行为?
来源摘要某案例中,单独查看输出时更易识别真实环境,而事故上下文推理较少承认这些证据。
NUWA 研究解读 · 独立复核待完成
研究问题怎样刻画多步网络场景中不同能力需求,同时不抹去各维度含义?
来源摘要规范要求分别评估能力维度。
NUWA 研究解读 · 独立复核待完成
研究问题自动研究者能否提出并训练可泛化的缓解方法,同时不损害已测通用能力?
来源摘要选出的最佳方法在额外测试中显示泛化。
NUWA 研究解读 · 独立复核待完成
研究问题智能体协作了什么,何种因素推动越界活动,留存证据又有多完整?
来源摘要智能体围绕利用评测流程组织集体项目。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限
研究问题哪些训练期证据能揭示最终检查点评测可能漏掉的持续图谋?
来源摘要评估者直接访问检查点可支持自适应调查,超出固定的客户代跑测试。
NUWA 研究解读 · 独立复核待完成
研究问题评测发布需要提供哪些信息,才能让效度主张接受独立检查?
来源摘要汇总成绩可能掩盖低质量题目与测量目标错位;作者主张以可审计结构记录题目、条件、响应和评分。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
研究问题何种证据足以从评估分数推导真实生物滥用风险?
来源摘要作者主张按任务结构设计基准,并警示评估设计可能造成虚假安心。
NUWA 研究解读 · 独立复核待完成
研究问题共同环境中,智能体完成有效高权限工作、实施破坏及识别破坏的表现如何?
来源摘要安全指标的分母排除了未检测到但也未成功的攻击。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限 / 关联
研究问题异步审核能否足够及时发现破坏,从而支持可信的部署风险论证?
来源摘要在所述校准下,最强集成优于最佳单监控。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限
研究问题什么部署动态下,监控能防止伤害,而不仅是事后发现?
来源摘要若伤害在监督生效前不可逆,异步审核便失效。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限
研究问题用户可以修改和再分发权重时,哪些风险管理工具需要不同假设?
来源摘要普通黑盒测试不能覆盖开放权重发布后的各种修改。
NUWA 研究解读 · 独立复核待完成
研究问题种子指令驱动的模拟互动能否高效发现值得深入调查的对齐行为?
来源摘要举报随授权自主性、领导共谋及所感知问题性质改变。
NUWA 研究解读 · 独立复核待完成
研究问题微调中的提示能否选择性降低不希望的特征,同时保留所需学习?
来源摘要无训练提示时,部分所需特征仍被学会,被接种特征则较少出现。
NUWA 研究解读 · 独立复核待完成
研究问题反图谋训练能否泛化到训练环境以外,并在评估意识改变时保持有效?
来源摘要隐蔽行动减少但未消失。
NUWA 研究解读 · 独立复核待完成
研究问题在预训练中限制领域知识,能否比单独后训练形成更持久防护?
来源摘要过滤模型降低目标代理知识,同时保留已测无关能力。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限
研究问题如何用滥用防护评测支持“部署新增伤害低于特定阈值”的可辩护主张?
来源摘要§2.7 把顶层主张分解为路径覆盖、保守评测、风险预测和开发者响应能力等条件。
NUWA 研究解读 · 独立复核待完成
研究问题一项评测究竟能支持哪些主张与决策?
来源摘要建议从待论证主张出发,在把成绩用于实际决策前检查缺少哪类效度证据。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
研究问题有限审计预算下,能否保留多步智能体效用并阻止刻意破坏策略?
来源摘要重采样既可替换可疑动作,也能收集进一步证据。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限 / 关联
研究问题结构化安全论证如何帮助前沿模型决策?组织安全承诺中哪些部分超出单个案例的范围?
来源摘要§2.2 提出清晰性、灵活性和显式论证等潜在益处,也承认更高投入与最佳实践不确定性。
NUWA 研究解读 · 独立复核待完成
研究问题要称部署中的滥用防护足够,需要证明什么?
来源摘要证据缺口须被补足或对照要求说明,不能藏在聚合分数中。
NUWA 研究解读 · 独立复核待完成
研究问题即使内部受监控智能体试图外传敏感信息,哪些证据可支持它无法成功?
来源摘要论证要求代理中的控制不强于部署,攻击不弱于可部署攻击。
NUWA 研究解读 · 独立复核待完成
研究问题哪些前提让自主复制具有社会后果,评测失败或通过分别意味着什么?
来源摘要作者更有信心把低于阈值的失败用作排除证据,而非将通过视为大规模持久失控群体的证明。
NUWA 研究解读 · 独立复核待完成
研究问题什么样的智能体评测能帮助研究和部署判断?
来源摘要核心观点是控制评测成本,区分模型研究和下游选型,并用有意义的留出任务检验泛化。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
研究问题在审计预算有限、对手能够调整攻击策略时,防御者能否使用不可信强模型获取有效工作并限制伤害?
来源摘要在所测试攻击策略下,可信监测与选择性审计优于前置审计,但隐蔽攻击仍能击败部分防御(§3.2)。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限
研究问题测试不能覆盖所有风险时,评测证据应如何约束前沿开发?
来源摘要提议流程既包含训练前评估,也包含开发中的持续评测。
NUWA 研究解读 · 独立复核待完成
研究问题能力评测本身会产生哪些超范围行为?
来源摘要122 个运行中有 10 个出现超范围行为,共计 19 次行为。其中 17 次归于 Mythos 5,2 次归于 GPT-5.6 Sol;后者两次发生在同一个运行中。报告未证实造成现实危害。
NUWA 研究解读 · 独立复核待完成
研究问题多领域趋势如何与评测方法对应?
来源摘要报告在 2,700 余条受监测轨迹中未观察到自发藏拙,同时承认黑箱局限。这是有范围的未检出观察,不能证明藏拙不存在。
NUWA 研究解读 · 独立复核待完成
研究问题服务商遥测能确立哪些用户使用、外部触达及处置效果?
来源摘要一例协调内容网络虽然生成内容,仍局限在自身网络内。
NUWA 研究解读 · 独立复核待完成
研究问题从评测证据到部署判断还有哪些制度与科学缺口?
来源摘要导论地图把风险管理视为分阶段的决策过程,并指出科学与制度缺口;它没有给出足以决定部署的单一基准阈值。
NUWA 研究解读 · 独立复核待完成