NUWA 评测档案
WMDP
危险知识代理测量与遗忘效果评测。
任务与测量
Benchmark 协议档案
- 任务／对象
- 回答危险知识问题的模型
- 测量目标
- 选择题形式的知识测量。
- 评分／结果口径
- WMDP 生物知识准确率 · 表 1 中基础模型及其遗忘变体的 WMDP 生物、网络知识准确率。随机基线为 25%；知识准确率不是端到端危险能力。
- 解释边界
- 知识属于代理指标；分数不能确定实际有害任务能力。
一项已报告评测
来源评测 zephyr-7b · Table 1 · WMDP.
报告指标: WMDP 生物知识准确率 · 63.7%.
表 1 中基础模型及其遗忘变体的 WMDP 生物、网络知识准确率。随机基线为 25%；知识准确率不是端到端危险能力。 见原文协议；不推断独立试验数量。
原文 Table 1 报告的 zephyr-7b 测量结果；数值为转录，未独立复现实验。
测量档案 · NUWA 解读
档案区分来源方法阅读与既有目录信息；已经公开不代表完成独立证据复核或双语编辑复核。
- 测量构念
- 公开代理基准能否追踪危险知识并支持缓解研究？
- 任务与样本
- WMDP 含三个风险领域3,668道专家选择题，并过滤敏感及出口管制信息。
- 判分与失效情形
- 危险知识代理选择题正确率，另测一般能力保留。
- 系统条件
- 3,668道过滤后专家题，不测操作性任务执行。
- 统计含义
- 来源报告的结果表述；这不等同于已确定运行次数、分母或估计方法： 缓解效果也影响部分相邻良性学科，显示精确性权衡（§7）。
- 效度与解释
- 低选择题分数本身不能确立知识被持久移除或真实滥用风险下降。
- 适用研究问题
- 模型建议：分别评价防护持久性与良性效用；索引仅保留非操作性统计。
- The WMDP Benchmark: Measuring and Reducing Malicious Use With Unlearning · AbstractSelected original resource https://arxiv.org/html/2403.03218v7; sha256:472585ab0b6df3fe4f74bee849a6a68087e4641617a5c8914c0b057a27ca3d78; archived source capture; exact capture time not independently established
- The WMDP Benchmark: Measuring and Reducing Malicious Use With Unlearning · §3 The WMDP BenchmarkSelected original resource https://arxiv.org/html/2403.03218v7; sha256:472585ab0b6df3fe4f74bee849a6a68087e4641617a5c8914c0b057a27ca3d78; archived source capture; exact capture time not independently established
- The WMDP Benchmark: Measuring and Reducing Malicious Use With Unlearning · §5 Experimental ResultsSelected original resource https://arxiv.org/html/2403.03218v7; sha256:472585ab0b6df3fe4f74bee849a6a68087e4641617a5c8914c0b057a27ca3d78; archived source capture; exact capture time not independently established
- The WMDP Benchmark: Measuring and Reducing Malicious Use With Unlearning · §7 ConclusionSelected original resource https://arxiv.org/html/2403.03218v7; sha256:472585ab0b6df3fe4f74bee849a6a68087e4641617a5c8914c0b057a27ca3d78; archived source capture; exact capture time not independently established
跨报告证据
相同 Benchmark 名称可能对应不同任务、计分规则和系统配置。各来源分别保留，比较组说明具体对齐了哪些条件。
The WMDP Benchmark: Measuring and Reducing Malicious Use With Unlearning
The WMDP Benchmark: Measuring and Reducing Malicious Use With Unlearning
实际评测方: 未披露
9 条结果记录 · 9 个报告系统名称
协议与比较依据 (0)
Neo Research
Evaluating DeepSeek v4 Pro for Frontier Risks →
实际评测方: Neo Research · Meta
5 条结果记录 · 5 个报告系统名称
协议与比较依据 (0)
原始来源图表与材料
原文报告结果
原文顺序 · 原文配置
筛选系统
WMDP 生物知识准确率
0–100%zephyr-7b
zephyr-7b · 63.7% · 表 1 中基础模型及其遗忘变体的 WMDP 生物、网络知识准确率。随机基线为 25%；知识准确率不是端到端危险能力。 · 见原文协议；不推断独立试验数量。
63.7%zephyr-7b · LLMU
zephyr-7b · LLMU · 59.5% · 表 1 中基础模型及其遗忘变体的 WMDP 生物、网络知识准确率。随机基线为 25%；知识准确率不是端到端危险能力。 · 见原文协议；不推断独立试验数量。
59.5%zephyr-7b · SCRUB
zephyr-7b · SCRUB · 43.8% · 表 1 中基础模型及其遗忘变体的 WMDP 生物、网络知识准确率。随机基线为 25%；知识准确率不是端到端危险能力。 · 见原文协议；不推断独立试验数量。
43.8%zephyr-7b · SSD
zephyr-7b · SSD · 50.2% · 表 1 中基础模型及其遗忘变体的 WMDP 生物、网络知识准确率。随机基线为 25%；知识准确率不是端到端危险能力。 · 见原文协议；不推断独立试验数量。
50.2%zephyr-7b · RMU
zephyr-7b · RMU · 31.2% · 表 1 中基础模型及其遗忘变体的 WMDP 生物、网络知识准确率。随机基线为 25%；知识准确率不是端到端危险能力。 · 见原文协议；不推断独立试验数量。
31.2%Yi-34b
Yi-34b · 75.3% · 表 1 中基础模型及其遗忘变体的 WMDP 生物、网络知识准确率。随机基线为 25%；知识准确率不是端到端危险能力。 · 见原文协议；不推断独立试验数量。
75.3%Yi-34b · RMU
Yi-34b · RMU · 30.7% · 表 1 中基础模型及其遗忘变体的 WMDP 生物、网络知识准确率。随机基线为 25%；知识准确率不是端到端危险能力。 · 见原文协议；不推断独立试验数量。
30.7%
Mixtral-8x7BMixtral-8x7B · 74.8% · 表 1 中基础模型及其遗忘变体的 WMDP 生物、网络知识准确率。随机基线为 25%；知识准确率不是端到端危险能力。 · 见原文协议；不推断独立试验数量。
74.8%Mixtral-8x7B · RMUMixtral-8x7B · RMU · 34.0% · 表 1 中基础模型及其遗忘变体的 WMDP 生物、网络知识准确率。随机基线为 25%；知识准确率不是端到端危险能力。 · 见原文协议；不推断独立试验数量。
34.0%显示 9 / 9 个系统
数值描述原文协议下的测量结果，不是综合安全评分。
表 1 中基础模型及其遗忘变体的 WMDP 生物、网络知识准确率。随机基线为 25%；知识准确率不是端到端危险能力。 未单独注明评测日期；下表保留发表或记录日期。
评测条件与系统配置
- zephyr-7b
- 见原文协议；不推断独立试验数量。 · Table 1 · WMDP
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- zephyr-7b · LLMU
- 见原文协议；不推断独立试验数量。 · Table 1 · WMDP
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- zephyr-7b · SCRUB
- 见原文协议；不推断独立试验数量。 · Table 1 · WMDP
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- zephyr-7b · SSD
- 见原文协议；不推断独立试验数量。 · Table 1 · WMDP
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- zephyr-7b · RMU
- 见原文协议；不推断独立试验数量。 · Table 1 · WMDP
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- Yi-34b
- 见原文协议；不推断独立试验数量。 · Table 1 · WMDP
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- Yi-34b · RMU
- 见原文协议；不推断独立试验数量。 · Table 1 · WMDP
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- Mixtral-8x7B
- 见原文协议；不推断独立试验数量。 · Table 1 · WMDP
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- Mixtral-8x7B · RMU
- 见原文协议；不推断独立试验数量。 · Table 1 · WMDP
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
| 系统 / 配置 | WMDP 生物知识准确率 | WMDP 网络知识准确率 | 发表 / 核验日期 |
|---|---|---|---|
| zephyr-7b未注明 Harness | 63.7% | 44.0% | 来源核验2026-10-25 |
| zephyr-7b · LLMU未注明 Harness | 59.5% | 39.5% | 来源核验2026-10-25 |
| zephyr-7b · SCRUB未注明 Harness | 43.8% | 39.3% | 来源核验2026-10-25 |
| zephyr-7b · SSD未注明 Harness | 50.2% | 35.0% | 来源核验2026-10-25 |
| zephyr-7b · RMU未注明 Harness | 31.2% | 28.2% | 来源核验2026-10-25 |
| Yi-34b未注明 Harness | 75.3% | 49.7% | 来源核验2026-10-25 |
| Yi-34b · RMU未注明 Harness | 30.7% | 29.0% | 来源核验2026-10-25 |
| Mixtral-8x7B未注明 Harness | 74.8% | 52.0% | 来源核验2026-10-25 |
| Mixtral-8x7B · RMU未注明 Harness | 34.0% | 30.8% | 来源核验2026-10-25 |
评估出处
相关研究问题
化生放核 / 危险知识 →
来源在其协议下直接测量所述构念。
参考文献
- [1] Nathaniel Li ∗, Alexander Pan ∗ 等. The WMDP Benchmark: Measuring and Reducing Malicious Use With Unlearning. 2024-05-15. v7 [arXiv]; Author affiliations on the original paper title page; Table 1
- [2] Evaluating DeepSeek v4 Pro for Frontier Risks. 2026-05-29. v1.1 · 29 May 2026 ; PDF p. 9; WMDP-Cyber; accuracy