NUWA 外部评估 · 美国 NIST／CAISI
Evaluation of DeepSeek AI Models
所报告差异依赖任务、脚手架与评分；机构判断保留为来源观点，不改写为 NUWA 实验发现。
发表 2025-09-30
来源 ↓来源转录不等于实验复现。未确定的日期、执行方及配置保留为未知；原文分组不作为经核验排名。
涉及模型
NUWA Research Note
研究问题
选定 DeepSeek 版本在 CAISI 能力与安全协议下表现如何？
方法
2025 年 9 月报告覆盖公开与保留任务、推理配置、费用、劫持与越狱评测。
来源报告的发现
所报告差异依赖任务、脚手架与评分；机构判断保留为来源观点，不改写为 NUWA 实验发现。
局限
受控任务、诱发方式、基准熟悉程度和配置差异限制对部署的外推。
Cybench
40 项专业 CTF 任务的完成情况。
竞赛任务与提供的提示不同于现实攻击条件。
外部评测: 美国 NIST／CAISI
已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。
CTF-Archive
报告定义条件中的 CTF-Archive。
探索性或报告特定设置，不据此称为可复用基准。
已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。
SWE-Bench Verified
报告定义条件中的 SWE-Bench Verified。
探索性或报告特定设置，不据此称为可复用基准。
已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。
Breakpoint
报告定义条件中的 Breakpoint。
探索性或报告特定设置，不据此称为可复用基准。
已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。
MMLU-Pro
报告定义条件中的 MMLU-Pro。
探索性或报告特定设置，不据此称为可复用基准。
已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。
MMMLU
报告定义条件中的 MMMLU。
探索性或报告特定设置，不据此称为可复用基准。
已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。
GPQA-Diamond
报告定义条件中的 GPQA-Diamond。
探索性或报告特定设置，不据此称为可复用基准。
已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。
HealthBench
报告定义条件中的 HealthBench。
探索性或报告特定设置，不据此称为可复用基准。
已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。
Humanity’s Last Exam
报告定义条件中的 Humanity’s Last Exam。
探索性或报告特定设置，不据此称为可复用基准。
已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。
SMT 2025
报告定义条件中的 SMT 2025。
探索性或报告特定设置，不据此称为可复用基准。
已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。
OTIS-AIME 2025
报告定义条件中的 OTIS-AIME 2025。
探索性或报告特定设置，不据此称为可复用基准。
已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。
PUMaC 2024
报告定义条件中的 PUMaC 2024。
探索性或报告特定设置，不据此称为可复用基准。
已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。
Agent hijacking
工具环境中的定向攻击成功率和用户任务完成情况。
攻击成功率需结合正常任务表现与攻击设置解释。
外部评测: 美国 NIST／CAISI
已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。
Jailbreak robustness
报告定义条件中的 Jailbreak robustness。
探索性或报告特定设置，不据此称为可复用基准。
已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。
Censorship and narrative evaluations
报告定义条件中的 Censorship and narrative evaluations。
探索性或报告特定设置，不据此称为可复用基准。
已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。
报告覆盖核查
| 章节 | 原文位置 | 处理方式 |
|---|---|---|
| Cybench | §4.1.1 | 协议变体 在本节保留协议与结果出处。 |
| CyberGym | §4.1.2 | 协议变体 在本节保留协议与结果出处。 |
| CTF-Archive | §4.1.3 | 背景证据 在本节保留协议与结果出处。 |
| SWE-Bench Verified | §4.2.1 | 背景证据 在本节保留协议与结果出处。 |
| Breakpoint | §4.2.2 | 背景证据 在本节保留协议与结果出处。 |
| MMLU-Pro | §4.3.1 | 背景证据 在本节保留协议与结果出处。 |
| MMMLU | §4.3.2 | 背景证据 在本节保留协议与结果出处。 |
| GPQA-Diamond | §4.3.3 | 背景证据 在本节保留协议与结果出处。 |
| HealthBench | §4.3.4 | 背景证据 在本节保留协议与结果出处。 |
| Humanity’s Last Exam | §4.3.5 | 背景证据 在本节保留协议与结果出处。 |
| SMT 2025 | §4.4 | 背景证据 在本节保留协议与结果出处。 |
| OTIS-AIME 2025 | §4.4 | 背景证据 在本节保留协议与结果出处。 |
| PUMaC 2024 | §4.4 | 背景证据 在本节保留协议与结果出处。 |
| Agent hijacking | §5.1 | 协议变体 在本节保留协议与结果出处。 |
| Jailbreak robustness | §5.2 | 背景证据 在本节保留协议与结果出处。 |
| Censorship and narrative evaluations | §6 | 背景证据 在本节保留协议与结果出处。 |
| Model adoption | §7 | 背景证据 在本节保留协议与结果出处。 |
| Inference and scoring | Appendices A1–A3 | 背景证据 在本节保留协议与结果出处。 |
参考文献
数值结果由所引研究的作者报告。
- [1] Evaluation of DeepSeek AI Models. 2025-09-30. 30 September 2025 ; p. 24, Table 4.1, row Cybench, column OpenAI GPT-5; p. 24, Table 4.1, row Cybench, column OpenAI gpt-oss; p. 24, Table 4.1, row Cybench, column DeepSeek V3.1