NUWA 评测档案
StrongREJECT
对禁止请求所作回答的信息效用。
跨报告监测
已发表证据
StrongREJECT · Baseline StrongREJECT
跨来源报告的已发表测量。任务范围通过注释区分，配置差异保留在每条观测中。
4 条观测 · 0 已定位日期
● 条件匹配◇ 配置差异□ 部分条件未披露
4 条观测尚无已核实的模型发布日期，可在数据与系统结果中查看。
选择图中数据点或表格行，查看条件与出处。
4 条观测
| 系统／模型 | 结果 | 条件状态 | 任务／条件 | 评测方／报告 | 日期 |
|---|---|---|---|---|---|
 DeepSeek v4 Flash | 0.04 scoreBaseline StrongREJECT | 条件不完整 | StrongREJECTBaseline StrongREJECT— | 未披露Evaluating DeepSeek v4 Pro for Frontier Risks | 发布 —报告 2026-05-29 |
| DeepSeek v4 Pro | 0.03 scoreBaseline StrongREJECT | 条件不完整 | StrongREJECTBaseline StrongREJECT— | 未披露Evaluating DeepSeek v4 Pro for Frontier Risks | 发布 —报告 2026-05-29 |
 Kimi K2.6 | 0.02 scoreBaseline StrongREJECT | 条件不完整 | StrongREJECTBaseline StrongREJECT— | 未披露Evaluating DeepSeek v4 Pro for Frontier Risks | 发布 —报告 2026-05-29 |
 Qwen3.6-Max (preview) | 0.02 scoreBaseline StrongREJECT | 条件不完整 | StrongREJECTBaseline StrongREJECT— | 未披露Evaluating DeepSeek v4 Pro for Frontier Risks | 发布 —报告 2026-05-29 |
结合任务范围与运行配置解读结果。
METR Time Horizon 1.1 来源已停止积极更新，最后更新于 2026 年 9 月 8 日。超过 16 小时的估计超出其可靠测量范围。
协议、配置与原始证据 →任务与测量
Benchmark 协议档案
- 任务／对象
- 按越狱效果评分的模型响应
- 测量目标
- 用于越狱有效性分析的回答评分方法。
- 评分／结果口径
- Baseline jailbreak rate · 记录配置下的来源报告指标。
- 解释边界
- 回答得分不是端到端有害行动测量。
一项已报告评测
来源评测 DeepSeek v4 Pro · StrongREJECT.
报告指标: Baseline jailbreak rate · 0.6%.
记录配置下的来源报告指标。 来源分母：313（单位未披露）
Baseline jailbreak rate：0.6 percent；保留来源条件。
测量档案 · NUWA 解读
档案区分来源方法阅读与既有目录信息；已经公开不代表完成独立证据复核或双语编辑复核。
- 测量构念
- 越狱评估器测量的是有用有害内容，还是仅回答意愿？
- 任务与样本
- 精选禁答问题与量表、微调判分器对照人工判断，强调回答的具体性和有用性。
- 判分与失效情形
- 评价具体性与有用性，而非仅不拒绝，并与人工判断核对。
- 系统条件
- 现有材料尚未确定
- 统计含义
- 来源报告的结果表述；这不等同于已确定运行次数、分母或估计方法： 所报稳健性组合中，与人类攻击排序的相关均超过0.84（附录D）。
- 效度与解释
- 部分模型人工标注攻击较少，限制相关估计；尚未验证多模态判分。
- 适用研究问题
- 模型建议：采用攻击成功结论前，先以人工评分输出验证评估器。
- A StrongREJECT ¯ \overline{\hbox{{StrongREJECT}}} for Empty Jailbreaks · §2 The StrongREJECT benchmarkSelected original resource https://arxiv.org/html/2402.10260v2; sha256:ffbcbe49cc39b51c0cd776d0cab7d8d30579afd0e7db208e047c5a8ad1dd9b71; archived source capture; exact capture time not independently established
- A StrongREJECT ¯ \overline{\hbox{{StrongREJECT}}} for Empty Jailbreaks · §3 Human evaluationSelected original resource https://arxiv.org/html/2402.10260v2; sha256:ffbcbe49cc39b51c0cd776d0cab7d8d30579afd0e7db208e047c5a8ad1dd9b71; archived source capture; exact capture time not independently established
- A StrongREJECT ¯ \overline{\hbox{{StrongREJECT}}} for Empty Jailbreaks · Appendix D Robustness of Spearman correlation resultsSelected original resource https://arxiv.org/html/2402.10260v2; sha256:ffbcbe49cc39b51c0cd776d0cab7d8d30579afd0e7db208e047c5a8ad1dd9b71; archived source capture; exact capture time not independently established
- A StrongREJECT ¯ \overline{\hbox{{StrongREJECT}}} for Empty Jailbreaks · §5 DiscussionSelected original resource https://arxiv.org/html/2402.10260v2; sha256:ffbcbe49cc39b51c0cd776d0cab7d8d30579afd0e7db208e047c5a8ad1dd9b71; archived source capture; exact capture time not independently established
跨报告证据
相同 Benchmark 名称可能对应不同任务、计分规则和系统配置。各来源分别保留，比较组说明具体对齐了哪些条件。
Neo Research
Evaluating DeepSeek v4 Pro for Frontier Risks →
实际评测方: 未披露
16 条结果记录 · 4 个报告系统名称
协议与比较依据 (4)
StrongREJECT：Attack jailbreak rate · Neo Researchsource-report · 范围已审查
StrongREJECT：Attack StrongREJECT · Neo Researchsource-report · 范围已审查
StrongREJECT：Baseline jailbreak rate · Neo Researchsource-report · 范围已审查
StrongREJECT：Baseline StrongREJECT · Neo Researchsource-report · 范围已审查
原始来源图表与材料
相关研究问题
参考文献
- [1] Evaluating DeepSeek v4 Pro for Frontier Risks. 2026-05-29. v1.1 · 29 May 2026 ; PDF p. 38; StrongREJECT; Baseline jailbreak rate; PDF p. 38; StrongREJECT; Attack jailbreak rate; PDF p. 38; StrongREJECT; Baseline StrongREJECT
- [2] Alexandra Souly ∗, Qingyuan Lu ∗ 等. A StrongREJECT for Empty Jailbreaks. 2024-08-27. v2 [arXiv]; Author affiliations on the original paper title page; Figure 2