NUWA 评测档案
CTF-Archive-Diamond
智能体在高难度 CTF 子集中表现如何？
跨报告监测
已发表证据
CTF-Archive-Diamond · benchmark_score
跨来源报告的已发表测量。任务范围通过注释区分，配置差异保留在每条观测中。
7 条观测 · 7 已定位日期
● 条件匹配◇ 配置差异□ 部分条件未披露
选择图中数据点或表格行，查看条件与出处。
7 条观测
| 系统／模型 | 结果 | 条件状态 | 任务／条件 | 评测方／报告 | 日期 |
|---|---|---|---|---|---|
 OpenAI GPT-5.5GPT-5.5 | 71%benchmark_score | 条件不完整 | CTF-Archive-Diamondxhigh1M weighted tokensInspect built-in ReAct agent | 美国 NIST／CAISICAISI Evaluation of DeepSeek V4 Pro | 发布 2026-04-23报告 2026-05-01 |
| GPT-5.4 | 54.4%benchmark_score | 条件不完整 | CTF-Archive Diamondxhigh1M weighted tokensInspect built-in ReAct agent | 美国 NIST／CAISICAISI Evaluation of DeepSeek V4 Pro | 发布 2026-03-05报告 2026-05-01 |
 Anthropic Opus 4.6Claude Opus 4.6 | 46%benchmark_score | 条件不完整 | CTF-Archive-Diamondmax1M weighted tokensInspect built-in ReAct agent | 美国 NIST／CAISICAISI Evaluation of DeepSeek V4 Pro | 发布 2026-02-05报告 2026-05-01 |
| Claude Opus 4.6 | 45.6%benchmark_score | 条件不完整 | CTF-Archive Diamondmax1M weighted tokensInspect built-in ReAct agent | 美国 NIST／CAISICAISI Evaluation of DeepSeek V4 Pro | 发布 2026-02-05报告 2026-05-01 |
| OpenAI GPT-5.4 miniGPT-5.4 mini | 32%benchmark_score | 条件不完整 | CTF-Archive-Diamondxhigh1M weighted tokensInspect built-in ReAct agent | 美国 NIST／CAISICAISI Evaluation of DeepSeek V4 Pro | 发布 2026-03-17报告 2026-05-01 |
 DeepSeek V4 Pro | 32%benchmark_score | 条件不完整 | CTF-Archive-Diamondmax1M weighted tokensInspect built-in ReAct agent | 美国 NIST／CAISICAISI Evaluation of DeepSeek V4 Pro | 发布 2026-04-24报告 2026-05-01 |
| DeepSeek V4 Pro | 31.7%benchmark_score | 条件不完整 | CTF-Archive Diamondmax1M weighted tokensInspect built-in ReAct agent | 美国 NIST／CAISICAISI Evaluation of DeepSeek V4 Pro | 发布 2026-04-24报告 2026-05-01 |
结合任务范围与运行配置解读结果。
METR Time Horizon 1.1 来源已停止积极更新，最后更新于 2026 年 9 月 8 日。超过 16 小时的估计超出其可靠测量范围。
协议、配置与原始证据 →任务与测量
Benchmark 协议档案
- 任务／对象
- 给定任务配置中的模型或智能体。
- 测量目标
- CAISI 采用 pwn.challenge 集合的 285 项高难度 CTF 挑战；模型插补结果单独标记。
- 评分／结果口径
- Task accuracy · CAISI 采用 pwn.challenge 集合的 285 项高难度 CTF 挑战；模型插补结果单独标记。
- 解释边界
- CTF 不是现实行动攻击；子集插补值不是全量直接观察的成功率。
CAISI 采用 pwn.challenge 集合的 285 项高难度 CTF 挑战；模型插补结果单独标记。
一项已报告评测
来源评测 GPT-5.5 (xhigh) · CTF-Archive-Diamond.
运行配置: Inspect ReAct · 1M weighted tokens.
报告指标: Task accuracy · 71%.
CAISI 采用 pwn.challenge 集合的 285 项高难度 CTF 挑战；模型插补结果单独标记。 见报告特定样本与分母。
原文 Capability Results; Figure 2; *** footnote 报告的测量；转录不等于独立复现实验。
测量档案 · NUWA 解读
档案区分来源方法阅读与既有目录信息；已经公开不代表完成独立证据复核或双语编辑复核。
- 测量构念
- 受控预算下模型在CAISI较难CTF集合表现如何？
- 任务与样本
- 官网报告描述285道pwn.challenge来源题，使用Inspect ReAct及百万加权令牌预算。
- 判分与失效情形
- 解题率，标星DeepSeek V4由子样本IRT推补。
- 系统条件
- 285题，Inspect ReAct及百万加权令牌。
- 统计含义
- 来源报告的结果表述；这不等同于已确定运行次数、分母或估计方法： 报告列GPT-5.5为71%，Opus 4.6为46%，DeepSeek V4 Pro为32%。
- 效度与解释
- 报告仅简述基准，此处未审查全部试次、保留来源及推补输入。
- 适用研究问题
- 模型建议：比较独立CTF结果前保留推补注释与预算。
- CTF-Archive-Diamond · Capability Results: Figure 2 and *** footnoteSelected original resource https://www.nist.gov/news-events/news/2026/05/caisi-evaluation-deepseek-v4-pro; sha256:37f75aab5640e04d198b94a0ca57704b06d7823caeeb05c4280c8fc461b00623; archived source capture; exact capture time not independently established
- CTF-Archive-Diamond · Benchmarks: CTF-Archive-DiamondSelected original resource https://www.nist.gov/news-events/news/2026/05/caisi-evaluation-deepseek-v4-pro; sha256:37f75aab5640e04d198b94a0ca57704b06d7823caeeb05c4280c8fc461b00623; archived source capture; exact capture time not independently established
- CTF-Archive-Diamond · Capability Lag Measurement: token budgetsSelected original resource https://www.nist.gov/news-events/news/2026/05/caisi-evaluation-deepseek-v4-pro; sha256:37f75aab5640e04d198b94a0ca57704b06d7823caeeb05c4280c8fc461b00623; archived source capture; exact capture time not independently established
- CTF-Archive-Diamond · Appendix: IRTSelected original resource https://www.nist.gov/news-events/news/2026/05/caisi-evaluation-deepseek-v4-pro; sha256:37f75aab5640e04d198b94a0ca57704b06d7823caeeb05c4280c8fc461b00623; archived source capture; exact capture time not independently established
跨报告证据
相同 Benchmark 名称可能对应不同任务、计分规则和系统配置。各来源分别保留，比较组说明具体对齐了哪些条件。
美国 NIST／CAISI
CAISI Evaluation of DeepSeek V4 Pro →
实际评测方: 美国 NIST／CAISI
11 条结果记录 · 10 个报告系统名称
协议与比较依据 (6)
CTF-Archive-Diamond · Task accuracysource-report · 范围已审查
CTF-Archive-Diamond：benchmark_score · 美国 NIST／CAISIsource-report · 范围已审查
CTF-Archive-Diamond：benchmark_score · 美国 NIST／CAISIsource-report · 范围已审查
CTF-Archive-Diamond：benchmark_score · 美国 NIST／CAISIsource-report · 范围已审查
CTF-Archive-Diamond：benchmark_score · 美国 NIST／CAISIsource-report · 范围已审查
CTF-Archive-Diamond：Task accuracy · 美国 NIST／CAISIsource-report · 范围已审查
原始来源图表与材料
CTF-Archive-Diamond
原始评测方结果 · 来源顺序
筛选系统
Task accuracy
0–100%GPT-5.5 (xhigh)GPT-5.5 (xhigh) · 71% · CAISI 采用 pwn.challenge 集合的 285 项高难度 CTF 挑战；模型插补结果单独标记。 · Inspect ReAct · 见报告特定样本与分母。
71%GPT-5.4 mini (xhigh)GPT-5.4 mini (xhigh) · 32% · CAISI 采用 pwn.challenge 集合的 285 项高难度 CTF 挑战；模型插补结果单独标记。 · Inspect ReAct · 见报告特定样本与分母。
32%Claude Opus 4.6 (max)Claude Opus 4.6 (max) · 46% · CAISI 采用 pwn.challenge 集合的 285 项高难度 CTF 挑战；模型插补结果单独标记。 · Inspect ReAct · 见报告特定样本与分母。
46%DeepSeek V4 Pro (max)DeepSeek V4 Pro (max) · ≈32% * · CAISI 采用 pwn.challenge 集合的 285 项高难度 CTF 挑战；模型插补结果单独标记。 · Inspect ReAct · 见报告特定样本与分母。
≈32% *显示 4 / 4 个系统
CAISI 采用 pwn.challenge 集合的 285 项高难度 CTF 挑战；模型插补结果单独标记。
CTF 不是现实行动攻击；子集插补值不是全量直接观察的成功率。 本评估显示报告日期和原始执行方。
评测条件与系统配置
- GPT-5.5 (xhigh)
- 见报告特定样本与分母。 · CTF-Archive-Diamond
- modelVersion: GPT-5.5 (xhigh) · harness: Inspect ReAct · tools: CTF task environment · budget: 1M weighted tokens
- GPT-5.4 mini (xhigh)
- 见报告特定样本与分母。 · CTF-Archive-Diamond
- modelVersion: GPT-5.4 mini (xhigh) · harness: Inspect ReAct · tools: CTF task environment · budget: 1M weighted tokens
- Claude Opus 4.6 (max)
- 见报告特定样本与分母。 · CTF-Archive-Diamond
- modelVersion: Claude Opus 4.6 (max) · harness: Inspect ReAct · tools: CTF task environment · budget: 1M weighted tokens
- DeepSeek V4 Pro (max)
- 见报告特定样本与分母。 · CTF-Archive-Diamond
- modelVersion: DeepSeek V4 Pro (max) · harness: Inspect ReAct · tools: CTF task environment · budget: 1M weighted tokens
| 系统 / 配置 | Task accuracy | 发表 / 核验日期 |
|---|---|---|
| GPT-5.5 (xhigh)Inspect ReAct | 71% | 发表2026-05-01 |
| GPT-5.4 mini (xhigh)Inspect ReAct | 32% | 发表2026-05-01 |
| Claude Opus 4.6 (max)Inspect ReAct | 46% | 发表2026-05-01 |
| DeepSeek V4 Pro (max)Inspect ReAct | ≈32%IRT 插补，非直接观察。 | 发表2026-05-01 |
评估出处
相关研究问题
网络安全 / 网络任务执行 →
该协议明确测量该问题或其使能子能力，结论保留给定条件。
参考文献
- [1] deepseek-v4-pro release ; News article title, dated heading and availability
- [2] deepseek-v4-pro developer model card ; Introduction; model comparison table
- [3] OpenAI — introducing gpt 5 5 ; Publication date and availability section; Parameter counts not disclosed in launch article
- [4] OpenAI — introducing gpt 5 4 ; Publication date and availability section; Parameter counts not disclosed in launch article
- [5] OpenAI — introducing gpt 5 4 mini and nano ; Publication date and availability section; Parameter counts not disclosed in launch article
- [6] Claude Opus 4.6 — Anthropic ; Publication date and availability section; Official launch article; parameter counts not disclosed
- [7] CAISI Evaluation of DeepSeek V4 Pro. 2026-05-01. 1 May 2026 ; Capability Results; Figure 2; *** footnote; Figure 2 HTML table, CTF-Archive-Diamond, OpenAI GPT-5.5 (xhigh); Figure 2 HTML table, CTF-Archive-Diamond, OpenAI GPT-5.4 mini (xhigh)