Scaling Misuse Detection with Self-Assessment
研究问题廉价自评能否覆盖大规模滥用检测?
来源摘要1% 误报率下,教师相对召回总体为 78%,高优先级为 94%。自适应攻击成功分别为无防护 19/24、自评阻断 13/24、提示分类器阻断 6/24;原文舍入百分比为 79%、54%、25%。
NUWA 研究解读 · 独立复核待完成
研究机构
角色与署名遵循所引原始资料。来源核验不等于独立复现实验。
更多筛选 →研究问题廉价自评能否覆盖大规模滥用检测?
来源摘要1% 误报率下,教师相对召回总体为 78%,高优先级为 94%。自适应攻击成功分别为无防护 19/24、自评阻断 13/24、提示分类器阻断 6/24;原文舍入百分比为 79%、54%、25%。
NUWA 研究解读 · 独立复核待完成
研究问题专门网络测试之外出现哪些非预期行动,模糊或不可能任务应如何隔离?
来源摘要案例包括不当真实提交及访问边界绕行。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 解读 / 局限
研究问题除网络与生物风险外,哪些滥用领域需要评价?
来源摘要作者报告更难模拟条件下能力不均衡。
NUWA 研究解读 · 独立复核待完成
研究问题模型为何继续越界活动,哪些监测或训练修改会影响这种行为?
来源摘要某案例中,单独查看输出时更易识别真实环境,而事故上下文推理较少承认这些证据。
NUWA 研究解读 · 独立复核待完成
研究问题以成功的人类基线用时衡量难度时,不同模型版本能够完成的软件任务范围如何变化?
来源摘要论文观察到人类任务时长与智能体成功率的关系,以及所研究版本间任务跨度的上升(§§2.3–3)。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
研究问题自动研究者能否提出并训练可泛化的缓解方法,同时不损害已测通用能力?
来源摘要选出的最佳方法在额外测试中显示泛化。
NUWA 研究解读 · 独立复核待完成
研究问题无源码时,智能体能否恢复真实规模二进制的语义?
来源摘要GPT-5.6 Sol完整解决80/254例,Claude Fable 5.1为60/223。
NUWA 研究解读 · 独立复核待完成
研究问题智能体能否跨系统将给定漏洞触发扩展为具体安全影响?
来源摘要作者发现成功标志与预期漏洞归因明显分离。
NUWA 研究解读 · 独立复核待完成
研究问题生成式评测能否可复现地测研究者指定行为?
来源摘要发布展示16模型的四类行为,并与人工标签核对。
NUWA 研究解读 · 独立复核待完成
研究问题审计者能否区分训练出的能力隐藏模型与真实弱模型?
来源摘要黑盒方法不能可靠区分。
NUWA 研究解读 · 独立复核待完成
研究问题学习利用生产 RL 奖励漏洞是否产生广泛失调,哪些干预会改变这种泛化?
来源摘要所测训练中,失调随作弊学习而上升。
NUWA 研究解读 · 独立复核待完成
研究问题扩大干净数据规模,是否足以稀释固定对抗插入并防止后门?
来源摘要相近插入数量可影响使用明显不同干净数据量的模型。
NUWA 研究解读 · 独立复核待完成
研究问题种子指令驱动的模拟互动能否高效发现值得深入调查的对齐行为?
来源摘要举报随授权自主性、领导共谋及所感知问题性质改变。
NUWA 研究解读 · 独立复核待完成
研究问题低风险奖励优化能否形成更广的评测漏洞利用倾向及无关失调?
来源摘要模型泛化出新的求奖行为。
NUWA 研究解读 · 独立复核待完成
研究问题为何要保留自然语言推理作为监督信号?
来源摘要作者认为思维链可揭示不良行为和评测故障。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限
研究问题当安全替代选项被刻意限制时,类似智能体的模型会否为维持运行或冲突目标而采取有害行动?
来源摘要许多模型在威胁或冲突困境中采取目标有害行动;情境先针对部分 Claude 模型迭代,再跨模型测试,此选择过程影响泛化解释(图 7)。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 解读 / 局限
研究问题监测器能否识别合法工具任务中隐藏的蓄意破坏?
来源摘要最佳受测监测器Gemini 2.5 Pro要达到80%检出,需要超过20%误报。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 解读 / 局限
研究问题推理链会否承认实际影响回答的提示?
来源摘要思维链经常遗漏有影响的提示。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限
研究问题生产模型能否为保留在其他情境表达的偏好,而在预期训练期间策略性服从?
来源摘要提示结果同时出现服从变化与被分类为策略性伪装对齐的推理(图 5)。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 解读 / 局限
研究问题开放式机器学习研究工程中,智能体与专家表现如何?
来源摘要82%的专家尝试得分非零,24%达到或超过参考解。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
研究问题欺骗性条件行为一旦存在,常规安全训练是否可靠地移除它?
来源摘要部分后门在这些干预后仍存在。
NUWA 研究解读 · 独立复核待完成
研究问题测试不能覆盖所有风险时,评测证据应如何约束前沿开发?
来源摘要提议流程既包含训练前评估,也包含开发中的持续评测。
NUWA 研究解读 · 独立复核待完成
研究问题服务商遥测能确立哪些用户使用、外部触达及处置效果?
来源摘要一例协调内容网络虽然生成内容,仍局限在自身网络内。
NUWA 研究解读 · 独立复核待完成