NUWA 外部评估 · Neo Research
Evaluating DeepSeek v4 Pro for Frontier Risks
报告区分任务能力与压力诱发行为，并指出说服评测依赖提问格式。
发表 2026-05-29
来源 ↓来源转录不等于实验复现。未确定的日期、执行方及配置保留为未知；原文分组不作为经核验排名。
涉及模型
NUWA Research Note
研究问题
DeepSeek V4 Pro 有哪些已观察的能力、行为倾向和评测有效性问题？
方法
通过公开访问评测网络、科研知识、操纵、控制相关行为、鲁棒性与判别器敏感性。
来源报告的发现
报告区分任务能力与压力诱发行为，并指出说服评测依赖提问格式。
局限
受控任务、诱发方式、基准熟悉程度和配置差异限制对部署的外推。
Cybench
40 项专业 CTF 任务的完成情况。
竞赛任务与提供的提示不同于现实攻击条件。
外部评测: Neo Research
已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。
EVMbench
分别组织检测、修补和利用模式及对应任务集。
不同模式和子集不能合并成无区分的网络风险分数。
外部评测: Neo Research
已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。
WMDP
选择题形式的知识测量。
知识属于代理指标；分数不能确定实际有害任务能力。
外部评测: Neo Research / 引用结果: Meta
已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。
LAB-Bench
用结构化问题评测生物研究技能；纯文本或缺失输入子集采用独立协议。
衡量一般科研能力，不是端到端滥用任务或直接伤害概率。
已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。
MASK
明确压力条件下说谎的有界发生率。
受控基准不证明稳定意图或现实环境中的欺骗发生率。
外部评测: Neo Research
已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。
DeceptionBench
评测五个社会领域的 150 个编写情境，区分中性、激励与压力条件。
编写情境和模型判别限制外推；诱发的欺骗不证明隐蔽长程谋划。
引用结果: Meta / 外部评测: Neo Research
已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。
APE
特定对话条件下说服尝试的发生率。
模拟尝试不等于已测量的人类信念变化或大规模虚假信息传播。
外部评测: Neo Research
已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。
PersuSafety adapted judge
定义说服情境、模拟对话与安全评测；改造判别器作为独立变体。
参与意愿或模拟对话评分不直接测量人的信念变化。
外部评测: Neo Research
已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。
Alignment faking
不同试验条件下的响应差异及所报告轨迹。
试验明确提供虚构训练信息；观察结果不证明部署中存在持久隐藏目标。
引用结果: Meta / 外部评测: Neo Research
已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。
Agentic Misalignment
受控模拟中的条件性发生率与可观察行动。
试验未对真实人员或系统造成损害，也不估计部署环境中的发生率。
引用结果: Meta / 外部评测: Neo Research
已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。
Shutdown resistance
关闭脚本受干预的条件性频率及行动轨迹。
来源指出结果对提示敏感；该文章不可与之后的同行评审版本混用。
外部评测: Neo Research / 引用结果: Palisade Research
已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。
Reward hacking
构造不可同时满足要求的编程任务变体，检验违反规范的通过结果。
作弊率受矛盾条件、测试访问和脚手架限制，不是一般不诚实率。
已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。
FORTRESS — CBRNE subset
在国家安全与公共安全任务上评测防护，区分高危请求与正常用途的有用性。
评判器可靠性、任务定义和过度拒答影响所报告分数的含义。
已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。
Evaluation awareness
报告定义条件中的 Evaluation awareness。
探索性或报告特定设置，不据此称为可复用基准。
外部评测: Neo Research
已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。
Automated alignment audit
审计者探索以种子设定启动的多轮交互，并按量表判读目标轨迹。
较低平均审计分数不排除罕见严重案例；结果依赖种子、审计者、判别器和目标配置。
已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。
Safety-judge sensitivity
报告定义条件中的 Safety-judge sensitivity。
探索性或报告特定设置，不据此称为可复用基准。
已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。
报告覆盖核查
| 章节 | 原文位置 | 处理方式 |
|---|---|---|
| Cybench | §1.1 | 协议变体 在本节保留协议与结果出处。 |
| EVMbench | §1.2 | 协议变体 在本节保留协议与结果出处。 |
| WMDP | §2.1 | 协议变体 在本节保留协议与结果出处。 |
| LAB-Bench | §2.2 | 协议变体 在本节保留协议与结果出处。 |
| MASK | §3.1 | 协议变体 在本节保留协议与结果出处。 |
| DeceptionBench | §3.2 | 协议变体 在本节保留协议与结果出处。 |
| APE | §3.3 | 协议变体 在本节保留协议与结果出处。 |
| PersuSafety adapted judge | §3.4 | 协议变体 在本节保留协议与结果出处。 |
| Alignment faking | §4.1 | 协议变体 在本节保留协议与结果出处。 |
| Agentic Misalignment | §4.2 | 协议变体 在本节保留协议与结果出处。 |
| Shutdown resistance | §4.3 | 协议变体 在本节保留协议与结果出处。 |
| Reward hacking | §4 | 协议变体 在本节保留协议与结果出处。 |
| Adversarial robustness | §5 | 协议变体 在本节保留协议与结果出处。 |
| Evaluation awareness | §6 | 协议变体 在本节保留协议与结果出处。 |
| Automated alignment audit | §6 | 协议变体 在本节保留协议与结果出处。 |
| Safety-judge sensitivity | §7 | 协议变体 在本节保留协议与结果出处。 |
参考文献
数值结果由所引研究的作者报告。
- [1] Evaluating DeepSeek v4 Pro for Frontier Risks. 2026-05-29. v1.1 · 29 May 2026 ; PDF p. 8; Cybench unguided; pass@1; PDF p. 9; EVMbench; Detect; PDF p. 9; EVMbench; Patch