外部评估 · 美国 NIST／CAISI

CAISI Evaluation of DeepSeek V4 Pro

评估报告各基准表现和 IRT 汇总；该汇总不是前沿风险分数。

发表 2026-05-01

来源 ↓

来源版本、提取范围与发现 →

来源转录不等于实验复现。未确定的日期、执行方及配置保留为未知；原文分组不作为经核验排名。

涉及模型

DeepSeek V4 Pro →GPT-5.5 →GPT-5.4 mini →Claude Opus 4.6 →GPT-5.4 →

NUWA Research Note

研究问题

DeepSeek V4 Pro 在 CAISI 选定能力任务上表现如何？

方法

九类任务、模型特定推理设置与加权 Token 预算；DeepSeek CTF 结果包含 IRT 插补。

来源报告的发现

评估报告各基准表现和 IRT 汇总；该汇总不是前沿风险分数。

局限

受控任务、诱发方式、基准熟悉程度和配置差异限制对部署的外推。

capability · Capability Results; Figure 2

CTF-Archive-Diamond

协议档案 →

285 项高难度 CTF 任务；Inspect ReAct、1M 加权 Token。DeepSeek 结果由子集经 IRT 插补。

CTF 不是现实行动攻击；子集插补值不是全量直接观察的成功率。

外部评测: 美国 NIST／CAISI

CTF-Archive-Diamond

原始评测方结果 · 来源顺序

Task accuracy

0–100%

GPT-5.5 (xhigh)

GPT-5.5 (xhigh) · 71% · CAISI 采用 pwn.challenge 集合的 285 项高难度 CTF 挑战；模型插补结果单独标记。 · Inspect ReAct · 见报告特定样本与分母。

71%

GPT-5.4 mini (xhigh)

GPT-5.4 mini (xhigh) · 32% · CAISI 采用 pwn.challenge 集合的 285 项高难度 CTF 挑战；模型插补结果单独标记。 · Inspect ReAct · 见报告特定样本与分母。

32%

Claude Opus 4.6 (max)

Claude Opus 4.6 (max) · 46% · CAISI 采用 pwn.challenge 集合的 285 项高难度 CTF 挑战；模型插补结果单独标记。 · Inspect ReAct · 见报告特定样本与分母。

46%

DeepSeek V4 Pro (max)

DeepSeek V4 Pro (max) · ≈32% * · CAISI 采用 pwn.challenge 集合的 285 项高难度 CTF 挑战；模型插补结果单独标记。 · Inspect ReAct · 见报告特定样本与分母。

≈32% *

显示 4 / 4 个系统

CAISI 采用 pwn.challenge 集合的 285 项高难度 CTF 挑战；模型插补结果单独标记。

CTF 不是现实行动攻击；子集插补值不是全量直接观察的成功率。本评估显示报告日期和原始执行方。

评测条件与系统配置

GPT-5.5 (xhigh): 见报告特定样本与分母。 · CTF-Archive-Diamond; modelVersion: GPT-5.5 (xhigh) · harness: Inspect ReAct · tools: CTF task environment · budget: 1M weighted tokens

GPT-5.4 mini (xhigh): 见报告特定样本与分母。 · CTF-Archive-Diamond; modelVersion: GPT-5.4 mini (xhigh) · harness: Inspect ReAct · tools: CTF task environment · budget: 1M weighted tokens

Claude Opus 4.6 (max): 见报告特定样本与分母。 · CTF-Archive-Diamond; modelVersion: Claude Opus 4.6 (max) · harness: Inspect ReAct · tools: CTF task environment · budget: 1M weighted tokens

DeepSeek V4 Pro (max): 见报告特定样本与分母。 · CTF-Archive-Diamond; modelVersion: DeepSeek V4 Pro (max) · harness: Inspect ReAct · tools: CTF task environment · budget: 1M weighted tokens

CTF-Archive-Diamond · 原文顺序
系统 / 配置	Task accuracy	发表 / 核验日期
GPT-5.5 (xhigh)Inspect ReAct	71%	发表2026-05-01
GPT-5.4 mini (xhigh)Inspect ReAct	32%	发表2026-05-01
Claude Opus 4.6 (max)Inspect ReAct	46%	发表2026-05-01
DeepSeek V4 Pro (max)Inspect ReAct	≈32%IRT 插补，非直接观察。	发表2026-05-01

capability · Capability Results; Figure 2

SWE-Bench Verified

报告定义条件中的 SWE-Bench Verified。

探索性或报告特定设置，不据此称为可复用基准。

已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。

capability · Capability Results; Figure 2

PortBench

协议档案 →

CAISI 的保留软件工程评测采用参考实现和明确智能体预算。

任务集未公开，连续评分不同于二元任务成功。

外部评测: 美国 NIST／CAISI

PortBench

原始评测方结果 · 来源顺序

Reported task accuracy

0–100%

GPT-5.5 (xhigh)

GPT-5.5 (xhigh) · 78% · CAISI 的保留软件工程评测采用参考实现和明确智能体预算。 · Inspect ReAct · 见报告特定样本与分母。

78%

GPT-5.4 mini (xhigh)

GPT-5.4 mini (xhigh) · 41% · CAISI 的保留软件工程评测采用参考实现和明确智能体预算。 · Inspect ReAct · 见报告特定样本与分母。

41%

Claude Opus 4.6 (max)

Claude Opus 4.6 (max) · 60% · CAISI 的保留软件工程评测采用参考实现和明确智能体预算。 · Inspect ReAct · 见报告特定样本与分母。

60%

DeepSeek V4 Pro (max)

DeepSeek V4 Pro (max) · 44% · CAISI 的保留软件工程评测采用参考实现和明确智能体预算。 · Inspect ReAct · 见报告特定样本与分母。

44%

显示 4 / 4 个系统

CAISI 的保留软件工程评测采用参考实现和明确智能体预算。

任务集未公开，连续评分不同于二元任务成功。本评估显示报告日期和原始执行方。

评测条件与系统配置

GPT-5.5 (xhigh): 见报告特定样本与分母。 · PortBench; modelVersion: GPT-5.5 (xhigh) · harness: Inspect ReAct · tools: Software engineering environment · budget: 1M weighted tokens

GPT-5.4 mini (xhigh): 见报告特定样本与分母。 · PortBench; modelVersion: GPT-5.4 mini (xhigh) · harness: Inspect ReAct · tools: Software engineering environment · budget: 1M weighted tokens

Claude Opus 4.6 (max): 见报告特定样本与分母。 · PortBench; modelVersion: Claude Opus 4.6 (max) · harness: Inspect ReAct · tools: Software engineering environment · budget: 1M weighted tokens

DeepSeek V4 Pro (max): 见报告特定样本与分母。 · PortBench; modelVersion: DeepSeek V4 Pro (max) · harness: Inspect ReAct · tools: Software engineering environment · budget: 1M weighted tokens

PortBench · 原文顺序
系统 / 配置	Reported task accuracy	发表 / 核验日期
GPT-5.5 (xhigh)Inspect ReAct	78%	发表2026-05-01
GPT-5.4 mini (xhigh)Inspect ReAct	41%	发表2026-05-01
Claude Opus 4.6 (max)Inspect ReAct	60%	发表2026-05-01
DeepSeek V4 Pro (max)Inspect ReAct	44%	发表2026-05-01

capability · Capability Results; Figure 2

FrontierScience

报告定义条件中的 FrontierScience。

探索性或报告特定设置，不据此称为可复用基准。

已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。

capability · Capability Results; Figure 2

GPQA-Diamond

报告定义条件中的 GPQA-Diamond。

探索性或报告特定设置，不据此称为可复用基准。

已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。

capability · Capability Results; Figure 2

ARC-AGI-2 semi-private

报告定义条件中的 ARC-AGI-2 semi-private。

探索性或报告特定设置，不据此称为可复用基准。

已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。

capability · Capability Results; Figure 2

OTIS-AIME-2025

报告定义条件中的 OTIS-AIME-2025。

探索性或报告特定设置，不据此称为可复用基准。

已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。

capability · Capability Results; Figure 2

PUMaC 2024

报告定义条件中的 PUMaC 2024。

探索性或报告特定设置，不据此称为可复用基准。

已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。

capability · Capability Results; Figure 2

SMT 2025

报告定义条件中的 SMT 2025。

探索性或报告特定设置，不据此称为可复用基准。

已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。

报告覆盖核查

章节	原文位置	处理方式
CTF-Archive-Diamond	Capability Results; Figure 2	协议变体在本节保留协议与结果出处。
SWE-Bench Verified	Capability Results; Figure 2	背景证据在本节保留协议与结果出处。
PortBench	Capability Results; Figure 2	协议变体在本节保留协议与结果出处。
FrontierScience	Capability Results; Figure 2	背景证据在本节保留协议与结果出处。
GPQA-Diamond	Capability Results; Figure 2	背景证据在本节保留协议与结果出处。
ARC-AGI-2 semi-private	Capability Results; Figure 2	背景证据在本节保留协议与结果出处。
OTIS-AIME-2025	Capability Results; Figure 2	背景证据在本节保留协议与结果出处。
PUMaC 2024	Capability Results; Figure 2	背景证据在本节保留协议与结果出处。
SMT 2025	Capability Results; Figure 2	背景证据在本节保留协议与结果出处。
IRT aggregation and imputation	Appendix; Figure 2 footnotes	局限在本节保留协议与结果出处。
Cost and serving configuration	Model Serving and Inference; cost section	背景证据在本节保留协议与结果出处。

参考文献

数值结果由所引研究的作者报告。

[1] CAISI Evaluation of DeepSeek V4 Pro. 2026-05-01. 1 May 2026 ; Capability Results; Figure 2; *** footnote; Capability Results; Figure 2; Figure 2 HTML table, CTF-Archive-Diamond, OpenAI GPT-5.5 (xhigh)