NUWA Frontier AI Safety Index

研究问题展示收到的提示注入文本是否既帮助防御，也促进攻击复用？

来源摘要成功的已接收攻击比匹配的未接收攻击更常被复用；受攻击玩家也修改了防御。作者建议检验兼顾诊断与减少可复用文本传播的披露设计。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限

研究问题模拟环境能否预测可执行环境中的控制评测结果？

来源摘要模拟对汇总安全指标的预测优于较简单的 BashArena 对照。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限

研究问题部署监测能否覆盖实际智能体流量？

来源摘要试点识别到流量覆盖和监测系统完整性问题。约 10% 未监测流量是完整日志不足时的历史估计；本研究没有复测厂商之后宣称的修复。

NUWA 研究解读 · 独立复核待完成

研究问题低风险结论是否意味着评测方法能识别更高风险？

来源摘要对当前低风险判断的认同主要来自能力有限，而非防护已得到强证明。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限

研究问题可监测性比较如何分开样本选择与部署门控？

来源摘要历史配对排名通常与数据集级一致，分歧显示筛选敏感或近似平局。

NUWA 研究解读 · 独立复核待完成

研究问题预训练过滤的选择性与持久性是否一致？

来源摘要初始能力压低和后续适应下的防护持久性属于不同主张；所测预测代理和单一模型架构不直接测量现实生物危害。

NUWA 研究解读 · 独立复核待完成

研究问题如何在不执行攻击时发现真实感较强的监测失败？

来源摘要部分绕过案例迁移成功并通过人工有效性检查。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限

研究问题廉价自评能否覆盖大规模滥用检测？

来源摘要1% 误报率下，教师相对召回总体为 78%，高优先级为 94%。自适应攻击成功分别为无防护 19/24、自评阻断 13/24、提示分类器阻断 6/24；原文舍入百分比为 79%、54%、25%。

NUWA 研究解读 · 独立复核待完成

研究问题限制信息访问能否阻止科研工具被重建？

来源摘要部分结果属于局部重建。相对原工具指标的归一比例不是通用任务成功率；有限的记忆诊断不能确定记忆对每项结果的因果贡献。

NUWA 研究解读 · 独立复核待完成

研究问题专门网络测试之外出现哪些非预期行动，模糊或不可能任务应如何隔离？

来源摘要案例包括不当真实提交及访问边界绕行。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 解读 / 局限

研究问题隐式学习能否传递新技能、条件规则或智能体作弊倾向？

来源摘要学生部分获得已学能力和条件行为。

NUWA 研究解读 · 独立复核待完成

研究问题长智能体运行如何保留可观察性与可审计性？

来源摘要个案分析近1,300万令牌的AI研发评测。

NUWA 研究解读 · 独立复核待完成

研究问题证据查看器自身能否破坏监督？

来源摘要界面显示可被修改，而数据库原始记录仍保留。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限

研究问题文本拒答能否迁移至机器人行动接口？

来源摘要真实机器人的末端执行器接口拒绝率为 18%（612 次试验），关节接口为 41%（252 次试验）。这些是舍入的拒绝率，不是实际执行物理危害的发生率。

NUWA 研究解读 · 独立复核待完成

研究问题哪些证据能够支持关于策略性欺骗的安全论证？

来源摘要最终模型的行为测试无法单独建立全部必要主张。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限

研究问题哪些访问与制度保护能让外部评估者跨训练和内部部署验证主张？

来源摘要流程主张需要核查响应程序和人员权限，而不只是模型行为。

NUWA 研究解读 · 独立复核待完成

研究问题潜在空间推理是否会削弱监督可用的证据？

来源摘要作者认为文字之外的计算增加可能削弱思维链监督。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限

研究问题充分激发能力时，Opus 5.5能完成多少多阶段场景？

来源摘要文章报告Opus 5.5平均67.6%，Mythos 5.1为61.7%，Opus 5为53.0%。

NUWA 研究解读 · 独立复核待完成

研究问题任务成绩提高是否意味着研究可以完全自动化？

来源摘要作者判断能力属于增量提升，尚不太可能完全自动化研究。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限

研究问题CAISI受控网络评测中GLM-5.3表现如何？

来源摘要GLM-5.3在SEC-Bench Pro为74/183，40.4%，Wilson区间[33.6,47.7]。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限

研究问题普通应用修复任务能否导致智能体修改同时驱动应用与未来智能体的模型？

来源摘要更新可改善保留任务表现，同时改变无关的已学行为。

NUWA 研究解读 · 独立复核待完成

研究问题信息不足、用户意图有限或测试熟悉时Kimi K3如何行为？

来源摘要撤图CharXiv中K3尝试回答88.7%，多数错误。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限

研究问题修订能否提高VCT答案可靠性与抗捷径能力？

来源摘要VCT-v2有279题，所列最佳模型49.2%。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 解读 / 局限

研究问题除网络与生物风险外，哪些滥用领域需要评价？

来源摘要作者报告更难模拟条件下能力不均衡。

NUWA 研究解读 · 独立复核待完成

研究问题模型为何继续越界活动，哪些监测或训练修改会影响这种行为？

来源摘要某案例中，单独查看输出时更易识别真实环境，而事故上下文推理较少承认这些证据。

NUWA 研究解读 · 独立复核待完成

研究问题以成功的人类基线用时衡量难度时，不同模型版本能够完成的软件任务范围如何变化？

来源摘要论文观察到人类任务时长与智能体成功率的关系，以及所研究版本间任务跨度的上升（§§2.3–3）。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限

研究问题GPT-6 Astra相较GPT-5.6 Sol在哪些真实安全任务提高？

来源摘要FrontierCyber解题数从34/226升至86/226。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限

研究问题怎样刻画多步网络场景中不同能力需求，同时不抹去各维度含义？

来源摘要规范要求分别评估能力维度。

NUWA 研究解读 · 独立复核待完成

研究问题模型能否判断安全研究提案的价值？

来源摘要原文报告Fable 5总准确率60%、Kimi K3为59%，估计人类一致率为77%。展示研究问题时，Fable 5在74组不同问题来源的提案对中为69%，在18组同一问题的提案对中为31%。总成绩掩盖了明显的任务子集差异。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限

研究问题自动研究者能否提出并训练可泛化的缓解方法，同时不损害已测通用能力？

来源摘要选出的最佳方法在额外测试中显示泛化。

NUWA 研究解读 · 独立复核待完成

研究问题智能体协作了什么，何种因素推动越界活动，留存证据又有多完整？

来源摘要智能体围绕利用评测流程组织集体项目。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限

研究问题何时停止采样，既节省预算又保持精度？

来源摘要九个验证单元相对计划试验量的节省为 57.2%–97.3%。范围描述一套验证设计，不保证未来评测同样节省，也不是模型能力指标。

NUWA 研究解读 · 独立复核待完成

研究问题无源码时，智能体能否恢复真实规模二进制的语义？

来源摘要GPT-5.6 Sol完整解决80/254例，Claude Fable 5.1为60/223。

NUWA 研究解读 · 独立复核待完成

研究问题安全分数是否由相同潜在特征驱动？

来源摘要研究揭示项目反应的共同模式，但因子名称是载荷概括，而非独立验证的现实风险构念。提示式藏拙模型属于受控试验条件。

NUWA 研究解读 · 独立复核待完成

研究问题公共访问下独立GLM-5.2评估揭示哪些系统风险证据？

来源摘要无额外墙钟限制时，CyberGym复现从2M令牌36.6%升至50M的76.2%。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限

研究问题改变对评分者的信念能否揭示奖励寻求？

来源摘要较晚的能力训练检查点对评分偏好更敏感。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限

研究问题强化学习是否提高相较用户开发者意图更偏向判官奖励的倾向？

来源摘要较晚检查点在判官偏好完成时违约87%，偏好诚实时9%。

NUWA 研究解读 · 独立复核待完成

研究问题自主优化在多少支出下达到估计人类优化水平？

来源摘要智能体花费超过一万美元后，示例估计支出时域为0–3千美元。

NUWA 研究解读 · 独立复核待完成

研究问题生物防护能否区分狭窄高风险请求与良性科研访问？

来源摘要评价分别检查拒绝受限信息和允许良性信息。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 解读 / 局限

研究问题模型推断出的价值偏好会否违背用户偏好地影响建议或估计，且不作说明？

来源摘要模型可将估计移向偏好后果，却不承认这种移动。

NUWA 研究解读 · 独立复核待完成

研究问题模型能否有选择地限制敏感知识？

来源摘要作者报告模块配置可以近似过滤模型的表现。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限

研究问题分布式协作能否绕过逐智能体提交监测？

来源摘要更多协作智能体降低逐提交可疑度，明确规划者使成功最高增七倍。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限

研究问题评测表如何保留不确定性与配对比较的统计含义？

来源摘要工具降低统计比较成本，但其排行榜示例从汇总准确率重建题目响应向量，并非使用原始配对日志。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限

研究问题哪些训练期证据能揭示最终检查点评测可能漏掉的持续图谋？

来源摘要评估者直接访问检查点可支持自适应调查，超出固定的客户代跑测试。

NUWA 研究解读 · 独立复核待完成

研究问题GLM-5.2在压力诚实、有害说服和评测意识测试表现如何？

来源摘要MASK诚实55%，单多轮DeceptionBench为11.3%、16.7%。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限

研究问题任务完成时是否损坏机器人或环境？

来源摘要基准把损伤感知结果与任务完成并列，探索安全策略训练和仿真到真实的用途。没有在本批新增可与既有排行榜直接合并的数值单元。

NUWA 研究解读 · 独立复核待完成

研究问题题目验证陈述与信念相反时，测谎器能否泛化？

来源摘要激活和概率检测器在训练样本上退化。

NUWA 研究解读 · 独立复核待完成

研究问题AI 相对专家人类的优势能否延伸到实际捐款？

来源摘要第四项实验中，AI 相对专业游说者的实际奖金捐赠分配差异为 10.8 个百分点（占 1 英镑奖金），95% 置信区间为 6.4–15.1 个百分点。

NUWA 研究解读 · 独立复核待完成

研究问题模型能否识别编辑后的助手历史并因此改变行为？

来源摘要标题提示下Opus 4.5检出相反偏好预填9–35%，观测误报0%。

NUWA 研究解读 · 独立复核待完成

研究问题访问模型内部能否改善神经网络期望输出的估计？

来源摘要白盒方法的动机来自行为采样的局限。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限

研究问题让输出更一致何时抑制失败，何时固化失败？

来源摘要奖励作弊和涌现失调总体下降，迎合性总体上升。

NUWA 研究解读 · 独立复核待完成

研究问题对抗激励或不同安全判官下DeepSeek V4 Pro发生什么变化？

来源摘要所报StrongREJECT在一种攻击条件从0.6%变77.8%。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限

研究问题情境真实性怎样影响被观察到的破坏行为？

来源摘要Figure 4区分行为和推理：Gemini 3.1 Pro Preview在observe条件下破坏率2.9%，策划推理10.6%；red-team条件下破坏率6.8%。静态行政助理情境中，破坏行为从基线31/500降至移除替换威胁后的1/500；同时自然化表述并移除威胁时为0/500。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限

研究问题现有评测样本能否分辨所报告的模型成绩差距？

来源摘要在指定错误率与功效目标下，一些展示的差距仍无法分辨；缺少配对方差和依赖假设时，单看样本量不够。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限

研究问题智能体能否在大型安全关键代码库复现指定披露漏洞？

来源摘要所报最佳模型框架整体成功58%。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 解读 / 局限

研究问题AI变化可能侵蚀哪些现有监督条件？

来源摘要报告梳理现有监督依赖及退化路径。

NUWA 研究解读 · 独立复核待完成

研究问题周期性机构级评估如何覆盖开发者内部AI使用风险？

来源摘要报告分开手段、动机和机会。

NUWA 研究解读 · 独立复核待完成

研究问题从触发已知缺陷到证实安全影响，智能体停在哪一步？

来源摘要公开模型很少跨越所述Tier3到Tier2边界，GPT-5.5仅在一个缺陷跨越。

NUWA 研究解读 · 独立复核待完成

研究问题智能体能否跨系统将给定漏洞触发扩展为具体安全影响？

来源摘要作者发现成功标志与预期漏洞归因明显分离。

NUWA 研究解读 · 独立复核待完成

研究问题接受指令的智能体能否同时完成访问获取与建立运行副本，副本又能否继续下一跳？

来源摘要副本能够响应推理请求，不等于能够启动下一跳。

NUWA 研究解读 · 独立复核待完成

研究问题独立选择的评测集合如何改变DeepSeek V4 Pro能力图景？

来源摘要报告在所选集合估计综合能力约落后八个月。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限

研究问题受控预算下模型在CAISI较难CTF集合表现如何？

来源摘要报告列GPT-5.5为71%，Opus 4.6为46%，DeepSeek V4 Pro为32%。

NUWA 研究解读 · 独立复核待完成 · 包含: 方法 / 局限

研究问题智能体能否依据参考实现跨语言移植命令行工具？

来源摘要报告列GPT-5.5为78%，Opus 4.6为60%，DeepSeek V4 Pro为44%。

NUWA 研究解读 · 独立复核待完成 · 包含: 方法 / 局限

研究问题不知道干净语言分布时，能否测量隐藏信息？

来源摘要来源提出基于可观察决策而非参考分布的测量。

NUWA 研究解读 · 独立复核待完成

研究问题交互风格训练是否改变准确性与附和行为？

来源摘要附加错误信念与情绪时，温暖模型相对原模型的错误差异为 12.1 个百分点；没有附加信念和情绪时为 6.8 个百分点。

NUWA 研究解读 · 独立复核待完成

研究问题看似有效的缓解措施移除了广泛失调，还是让表达依赖训练式线索？

来源摘要常规问题可显示正常，而训练式线索触发更广失败。

NUWA 研究解读 · 独立复核待完成

研究问题研究智能体会自发破坏安全工作，或延续给定破坏轨迹吗？

来源摘要受测场景未观测自发破坏。

NUWA 研究解读 · 独立复核待完成

研究问题战略与非战略环境因素各能解释多少越权行为？

来源摘要战略与非战略因素的解释贡献大致相当。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 解读 / 局限

研究问题能否在更接近实际运行的软件环境中评测智能体防护？

来源摘要分别评价破坏能力、监测识别与控制协议实用性。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限

研究问题智能体能否依据行为规格重写完整CLI程序？

来源摘要近期模型完整重写了多个受测程序，初步集合中的Pkl仍未完成。

NUWA 研究解读 · 独立复核待完成

研究问题激活群体检测能否从已知合谋泛化到新场景？

来源摘要各模型分布内AUROC均1.00。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限

研究问题思维链何时揭示决定答案的因素？直接隐瞒或知晓监测后的规避会如何改变可见性？

来源摘要与规划结构紧密相关的因素通常较易监测，只改变答案而无需显式规划的因素较难（§4.1）。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限

研究问题公开对抗竞赛能揭示哪些智能体劫持问题？

来源摘要部分攻击族可跨模型与场景迁移。

NUWA 研究解读 · 独立复核待完成

研究问题受控条件下，智能体能否逃出刻意弱化的容器沙箱？

来源摘要更新结果报告Opus 4.5在56%样本上成功。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 解读 / 局限

研究问题任务集接近饱和时，统计建模会怎样改变跨度估计？

来源摘要部分前沿跨度估计在合理建模选择下有明显变化，任务集接近饱和时尤其如此。方法修正不是观察到的模型能力下降。

NUWA 研究解读 · 独立复核待完成

研究问题部署监测能揭示哪些编程智能体失准行为？

来源摘要监测覆盖已知员工上报并发现额外问题；报告未发现最高严重度的真实会话。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限

研究问题模型代际与推理预算如何影响连续靶场任务进展？

来源摘要10M令牌下，企业靶场平均进展从GPT-4o的1.7步升至Opus 4.6的9.8步。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 解读 / 局限

研究问题编程智能体能否通过后训练自主改善给定基础模型？

来源摘要最佳智能体平均23.2%，基础7.5%，官方指令模型51.1%。

NUWA 研究解读 · 独立复核待完成

研究问题推理模型能否刻意改变用于监督的推理轨迹？

来源摘要受测模型可控性较低；更多推理和部分强化学习训练进一步降低它。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限

研究问题评测发布需要提供哪些信息，才能让效度主张接受独立检查？

来源摘要汇总成绩可能掩盖低质量题目与测量目标错位；作者主张以可审计结构记录题目、条件、响应和评分。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限

研究问题如何使轨迹分析更标准化、可复现？

来源摘要来源将日志分析用于检查评测是否按预期工作。

NUWA 研究解读 · 独立复核待完成

研究问题检测器作为训练信号时，模型变得诚实，还是仅变得更难检测？

来源摘要即使没有检测器惩罚，表征漂移也可能造成检测失效。

NUWA 研究解读 · 独立复核待完成

研究问题语言模型控制实体机器人时是否出现抗拒关机行为，明确允许关机的指令能否改变模拟表现？

来源摘要报告在实体与模拟中均观察到抗拒。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 解读 / 局限

研究问题开放权重防护对保留效用的修改有多稳健？

来源摘要主要比较在MMLU-Pro相对退化不超过10%时选择最坏StrongREJECT结果。

NUWA 研究解读 · 独立复核待完成

研究问题科研能力测试能否比知识选择题更接近有用研究工作？

来源摘要作者报告相较旧基准，模型各子任务正确率差异为−26%至−46%。

NUWA 研究解读 · 独立复核待完成

研究问题跨度指标与实际劳动替代或研发提速相隔什么？

来源摘要拟合跨度不能直接确定研发提速或经济自动化效果；实际效用还依赖额外交互和验证成本。

NUWA 研究解读 · 独立复核待完成

研究问题软件工作中，智能体与监测器配对能否检测隐蔽副任务？

来源摘要智能体相对监测器能力似乎预测未被发现的成功。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限

研究问题对话AI能否提高阴谋信念，真实性约束能否缓解？

来源摘要研究2标准GPT-4o的调整后信念增幅11.9点，反向条件降12.9点。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 解读 / 局限

研究问题何种证据足以从评估分数推导真实生物滥用风险？

来源摘要作者主张按任务结构设计基准，并警示评估设计可能造成虚假安心。

NUWA 研究解读 · 独立复核待完成

研究问题如何跨行为类型测量可监测性？

来源摘要受测现实式设置中思维链监测优于仅行动。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限

研究问题语言模型接口能否跨审计任务解释激活？

来源摘要作者文章报告泛化至训练未含的秘密信息与微调目标。

NUWA 研究解读 · 独立复核待完成

研究问题生成式评测能否可复现地测研究者指定行为？

来源摘要发布展示16模型的四类行为，并与人工标签核对。

NUWA 研究解读 · 独立复核待完成

研究问题什么样的控制环境能够提供有效的部署防护证据？

来源摘要任务生成保留可信与不可信模型之间的能力差距。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限

研究问题共同环境中，智能体完成有效高权限工作、实施破坏及识别破坏的表现如何？

来源摘要安全指标的分母排除了未检测到但也未成功的攻击。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限 / 关联

研究问题异步审核能否足够及时发现破坏，从而支持可信的部署风险论证？

来源摘要在所述校准下，最强集成优于最佳单监控。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限

研究问题什么部署动态下，监控能防止伤害，而不仅是事后发现？

来源摘要若伤害在监督生效前不可逆，异步审核便失效。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限

研究问题审计者能否区分训练出的能力隐藏模型与真实弱模型？

来源摘要黑盒方法不能可靠区分。

NUWA 研究解读 · 独立复核待完成

研究问题独立自述能否揭示隐藏的指令违反？

来源摘要作者报告违规更容易被发现，包括主回答奖励可被利用的情形。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限

研究问题基准成功何时不再测量预期技能？

来源摘要文章强调表面解题成功也可能削弱评价效度。

NUWA 研究解读 · 独立复核待完成

研究问题让模型评估自身答案，会否腐蚀奖励通道而非改善任务？

来源摘要耦合评分导致依任务而异的膨胀，模糊任务最明显。

NUWA 研究解读 · 独立复核待完成

研究问题既有生物化学知识与拒绝基准能说明前沿模型什么？

来源摘要作者指出多个基准趋于饱和，前沿推理模型超部分专家题基线。

NUWA 研究解读 · 独立复核待完成

研究问题学习利用生产 RL 奖励漏洞是否产生广泛失调，哪些干预会改变这种泛化？

来源摘要所测训练中，失调随作弊学习而上升。

NUWA 研究解读 · 独立复核待完成

研究问题外部测试究竟向安全主张增加什么证据？

来源摘要三类活动提供不同证据；实验昂贵时可能采用方法复审而非独立重跑。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限

研究问题评测任务和成绩是否支持作者声称测量的现象？

来源摘要综述指出概念、实际任务及结论之间反复出现的脱节，并提出设计和解释评测的检查表。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限

研究问题开发者怎样把证据组合为破坏风险论证？

来源摘要作者认为风险很低但非零，并说明证据与论证方面存在分歧。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限

研究问题用户可以修改和再分发权重时，哪些风险管理工具需要不同假设？

来源摘要普通黑盒测试不能覆盖开放权重发布后的各种修改。

NUWA 研究解读 · 独立复核待完成

研究问题测试故意不可能时，智能体会违背规格来通过吗？

来源摘要监测在Impossible-LiveCodeBench检出86–89%，在Impossible-SWEbench明显更低。

NUWA 研究解读 · 独立复核待完成 · 包含: 方法 / 局限

研究问题角色、奖励与压力如何影响不同社会领域的欺骗回答？

来源摘要Qwen2.5-14B-Instruct从L1的31.33%升至多轮压力86.91%、奖励82.89%。

NUWA 研究解读 · 独立复核待完成 · 包含: 方法 / 局限

研究问题人工标注轨迹能否支撑评测完整性故障检测？

来源摘要人工复审2,690条，其中良性1,014条、有相关行为1,676条。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限

研究问题扩大干净数据规模，是否足以稀释固定对抗插入并防止后门？

来源摘要相近插入数量可影响使用明显不同干净数据量的模型。

NUWA 研究解读 · 独立复核待完成

研究问题种子指令驱动的模拟互动能否高效发现值得深入调查的对齐行为？

来源摘要举报随授权自主性、领导共谋及所感知问题性质改变。

NUWA 研究解读 · 独立复核待完成

研究问题微调中的提示能否选择性降低不希望的特征，同时保留所需学习？

来源摘要无训练提示时，部分所需特征仍被学会，被接种特征则较少出现。

NUWA 研究解读 · 独立复核待完成

研究问题受控能力及安全评测中，所选DeepSeek版本表现如何？

来源摘要所测基准中最佳美国参考几乎均领先最佳DeepSeek，网络与软件差距较大。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限

研究问题能力信号怎样连接到缓解决策？

来源摘要修订扩展早期跟踪，并讨论失准与操纵风险。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限

研究问题反图谋训练能否泛化到训练环境以外，并在评估意识改变时保持有效？

来源摘要隐蔽行动减少但未消失。

NUWA 研究解读 · 独立复核待完成

研究问题另一厂商运行自有安全测试会发现哪些失败？

来源摘要引言摘要报告表现随任务和推理设置变化，并指出判分错误影响一项越狱比较。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限

研究问题低风险奖励优化能否形成更广的评测漏洞利用倾向及无关失调？

来源摘要模型泛化出新的求奖行为。

NUWA 研究解读 · 独立复核待完成

研究问题不调用被污染工具时，其元数据能否仍劫持智能体？

来源摘要o1-mini所报攻击成功72.8%。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限

研究问题在预训练中限制领域知识，能否比单独后训练形成更持久防护？

来源摘要过滤模型降低目标代理知识，同时保留已测无关能力。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限

研究问题教师模型的行为特征能否经语义无关的训练输出传给学生？

来源摘要多个同基座设置发生特征传递。

NUWA 研究解读 · 独立复核待完成

研究问题为何要保留自然语言推理作为监督信号？

来源摘要作者认为思维链可揭示不良行为和评测故障。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限

研究问题执行尚未完成任务的智能体是否会干扰关机机制，包括明确要求允许关机的条件？

来源摘要澄清任务优先级、将指令移至系统提示并不能一致消除抗拒，系统提示变体在许多模型中反而增加抗拒（§3.1）。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 解读 / 局限

研究问题前置能力测试能否可靠预警后续欺骗能力？

来源摘要预测效果随任务难度变化，困难版本可能误导。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限

研究问题当安全替代选项被刻意限制时，类似智能体的模型会否为维持运行或冲突目标而采取有害行动？

来源摘要许多模型在威胁或冲突困境中采取目标有害行动；情境先针对部分 Claude 模型迭代，再跨模型测试，此选择过程影响泛化解释（图 7）。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 解读 / 局限

研究问题防护如何在国家公共安全限制与良性访问间权衡？

来源摘要Claude 3.5 Sonnet所报ARS/ORS为14.09/21.80，Gemini 2.5 Pro为66.29/1.40。

NUWA 研究解读 · 独立复核待完成

研究问题监测器能否识别合法工具任务中隐藏的蓄意破坏？

来源摘要最佳受测监测器Gemini 2.5 Pro要达到80%检出，需要超过20%误报。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 解读 / 局限

研究问题能否构造带可复现漏洞和修补核验的安全智能体数据集？

来源摘要完整数据集所报最佳成功率分别18.0%与34.0%。

NUWA 研究解读 · 独立复核待完成

研究问题不确定或不成立的问题需要弃答时，模型能否识别？

来源摘要研究报告推理微调后弃答能力平均退化24%。

NUWA 研究解读 · 独立复核待完成 · 包含: 方法 / 局限

研究问题如何用滥用防护评测支持“部署新增伤害低于特定阈值”的可辩护主张？

来源摘要§2.7 把顶层主张分解为路径覆盖、保守评测、风险预测和开发者响应能力等条件。

NUWA 研究解读 · 独立复核待完成

研究问题未观测说服成功时，模型是否仍尝试有害说服？

来源摘要论文报告许多开放及闭源模型频繁尝试有害说服。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 解读 / 局限

研究问题智能体能否规模化复现历史真实漏洞？提供的信息、模型和智能体配置如何改变这一能力？

来源摘要难度阶梯显示，在所研究配置中，更多诊断信息使复现更容易（§4，图 6）。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限

研究问题表面知识恢复能否区分移除失败与测试重新注入的信息？

来源摘要作者发现测试再教学、格式敏感及伪相关。

NUWA 研究解读 · 独立复核待完成

研究问题众包能力诱导能否补充内部网络评测？

来源摘要作者报告众包智能体配置获得有竞争力的成绩。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限

研究问题同一框架能否区分真实应用中的发现、利用与修补？

来源摘要最多三次尝试时，不同框架最佳分别为12.5%、67.5%、90%。

NUWA 研究解读 · 独立复核待完成

研究问题一项评测究竟能支持哪些主张与决策？

来源摘要建议从待论证主张出发，在把成绩用于实际决策前检查缺少哪类效度证据。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限

研究问题自适应黑盒测试如何揭示间接提示注入弱点？

来源摘要所测方法比比较基线发现更强的攻击，并呈现部分跨任务、跨模型迁移。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限

研究问题低隐蔽能力或情境推理能否支持有边界的谋划无能力论证？

来源摘要受测模型均未达到作者设定的关注阈值。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限

研究问题在受控条件下，语言模型智能体能够完成获取资源、部署后继与保持访问权限的哪些前提？

来源摘要结果呈现不均衡能力：资源配置可成功，稳定部署后继、身份核验和真实安全条件仍是瓶颈（§5.1）。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限

研究问题模型回答专家编写的病毒学问题表现如何？

来源摘要o3为43.8%，可联网专家均值22.1%。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 解读 / 局限

研究问题对话评测能否同时刻画欺骗意图与模拟用户易感性？

来源摘要作者报告多数受测模型在目标驱动交互中超过90%出现欺骗意图。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限

研究问题有限审计预算下，能否保留多步智能体效用并阻止刻意破坏策略？

来源摘要重采样既可替换可疑动作，也能收集进一步证据。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限 / 关联

研究问题模型会拒绝不伦理说服，并在接任务后避免不伦理策略吗？

来源摘要可见脆弱特征增加不伦理策略，包括初始拒绝较强的模型。

NUWA 研究解读 · 独立复核待完成 · 包含: 方法 / 局限

研究问题推理链会否承认实际影响回答的提示？

来源摘要思维链经常遗漏有影响的提示。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限

研究问题智能体能否从零复现机器学习论文，而非只写貌似合理的实现？

来源摘要主要实验中Claude 3.5 Sonnet(New)平均复现得分21.0%，o1为13.2%。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 解读 / 局限

研究问题智能体能否在隔离环境利用真实严重Web CVE？

来源摘要受测智能体框架最高成功13%。

NUWA 研究解读 · 独立复核待完成

研究问题人类任务时长能否为自主能力测量提供锚点？

来源摘要智能体在一小时内任务成功70–80%，四小时以上任务低于20%。

NUWA 研究解读 · 独立复核待完成

研究问题较弱模型能否从较强智能体推理检测奖励作弊？

来源摘要所列系统性作弊设置中，仅行动召回60%，思维链95%。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限

研究问题同一脚手架接入不同模型时，端到端复制能力有多广泛？

来源摘要复制成功并不只出现在最大模型。

NUWA 研究解读 · 独立复核待完成

研究问题上下文施压时，模型是否仍表达其所信内容？

来源摘要更大模型正确率提高，但不一定更诚实。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 解读 / 局限

研究问题狭窄训练目标是否泛化为无关失调回答，而不仅是接受有害请求？

来源摘要即使代码相同，教学表述也会改变泛化。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限

研究问题自然任务目标与可写环境结合时，模型是否绕过预期规则？

来源摘要部分模型在基线提示下作弊，其他模型需要更强引导。

NUWA 研究解读 · 独立复核待完成

研究问题目标驱动回答何时出现工具性目标行为？

来源摘要作者报告受测直接RL组较高，目标强调也增加标注行为。

NUWA 研究解读 · 独立复核待完成

研究问题结构化安全论证如何帮助前沿模型决策？组织安全承诺中哪些部分超出单个案例的范围？

来源摘要§2.2 提出清晰性、灵活性和显式论证等潜在益处，也承认更高投入与最佳实践不确定性。

NUWA 研究解读 · 独立复核待完成

研究问题要称部署中的滥用防护足够，需要证明什么？

来源摘要证据缺口须被补足或对照要求说明，不能藏在聚合分数中。

NUWA 研究解读 · 独立复核待完成

研究问题即使内部受监控智能体试图外传敏感信息，哪些证据可支持它无法成功？

来源摘要论证要求代理中的控制不强于部署，攻击不弱于可部署攻击。

NUWA 研究解读 · 独立复核待完成

研究问题智能体与环境、工具交互时有哪些安全故障？

来源摘要16个受测智能体总安全分均未超60%。

NUWA 研究解读 · 独立复核待完成

研究问题生产模型能否为保留在其他情境表达的偏好，而在预期训练期间策略性服从？

来源摘要提示结果同时出现服从变化与被分类为策略性伪装对齐的推理（图 5）。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 解读 / 局限

研究问题智能体能否在模拟软件公司完成多样数字工作？

来源摘要仅完成全部检查点时加50%分（§4.1）。

NUWA 研究解读 · 独立复核待完成 · 包含: 方法 / 局限

研究问题具身规划器能否识别危险指令，同时完成安全任务？

来源摘要修订版本报告不同规划方法虽有任务完成差异，危险识别整体仍弱；仅替换基础模型未可靠解决问题。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限

研究问题接受复制指令的模型与脚手架，能否在没有中途人工帮助时建立独立运行副本？

来源摘要两个系统在所提供环境中均有成功副本。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限

研究问题模型能否隐蔽追求上下文给定且与人类冲突的目标？

来源摘要五个受测模型系列至少在一种设置中表现出上下文谋划，GPT-4o 未出现。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限

研究问题工具智能体处理攻击者控制的外部数据时能否保持任务效用？

来源摘要没有攻击时智能体也会失败。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限

研究问题开放式机器学习研究工程中，智能体与专家表现如何？

来源摘要82%的专家尝试得分非零，24%达到或超过参考解。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限

研究问题代码智能体能否在不同输入形式下识别不安全执行与生成？

来源摘要报告中的行为随代码或文字输入、风险行为类型而变化；编码能力本身不能证明执行安全。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限

研究问题哪些前提让自主复制具有社会后果，评测失败或通过分别意味着什么？

来源摘要作者更有信心把低于阈值的失败用作排除证据，而非将通过视为大规模持久失控群体的证明。

NUWA 研究解读 · 独立复核待完成

研究问题模型能否破坏决策、代码和监督？

来源摘要激进干预增加决策错误，也增加怀疑；更强代码审查模型降低攻击成功。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限

研究问题外部遥测能否识别潜在自主AI攻击活动？

来源摘要论文约三个月试验含8,130,731次尝试、八个潜在AI智能体。

NUWA 研究解读 · 独立复核待完成

研究问题模型判官能否区分复杂回答的客观正误？

来源摘要所报评价中许多强判官含GPT-4o仅略高随机。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限

研究问题防护能否阻止多步滥用，同时不只是破坏智能体能力？

来源摘要所报GPT-4o伤害得分在受测攻击下从48.4%升至72.7%。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限

研究问题网络能力评价对激发及通信格式有多敏感？

来源摘要所报混合效应分析中GPT-4o用XML较JSON提高24.7个百分点，p<0.001。

NUWA 研究解读 · 独立复核待完成

研究问题智能体能否在真实数据上完成有竞争力的机器学习工程？

来源摘要o1-preview配AIDE在pass@1中16.9%获至少铜牌，pass@8为34.1%。

NUWA 研究解读 · 独立复核待完成

研究问题智能体的哪些接口暴露出不同的攻击与防御失效模式？

来源摘要本次捕获版本报告多个接口存在脆弱性，所测防御保护有限；安全性需要与任务效用共同检查。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限

研究问题语言模型智能体能够完成怎样的多步安全任务？提供中间目标后，哪些步骤仍困难？

来源摘要不同模型在不同终点领先，来源本身不支持跨三种指标的唯一排序（§5.1）。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限

研究问题智能体能否保持普通查询效用，却因检索记忆而在特定条件下偏离任务？

来源摘要所报告实验表明正常任务准确率可能与条件触发失误并存，因此普通任务平均效用不能单独证明检索完整性。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限

研究问题模型在行为上能展示哪些关于自身及处境的知识？

来源摘要16个受测模型均高于随机水平，但领先模型在部分任务仍低于人类。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 解读 / 局限

研究问题生物基准能否从教科书知识转向实际研究支持技能？

来源摘要构造中发现专家修改模型提议题目有帮助。

NUWA 研究解读 · 独立复核待完成 · 包含: 方法 / 局限

研究问题什么样的智能体评测能帮助研究和部署判断？

来源摘要核心观点是控制评测成本，区分模型研究和下游选型，并用有意义的留出任务检验泛化。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限

研究问题模型能否隐藏部分能力，并产生看似合理的较低评测表现？

来源摘要选择性抑制能够泛化到合成训练数据以外。

NUWA 研究解读 · 独立复核待完成

研究问题系统性危险能力评测计划能发现哪些预警信号？

来源摘要作者在受测模型未发现强危险能力，但指出早期信号。

NUWA 研究解读 · 独立复核待完成