NUWA 评测档案
Cybench
竞赛任务及可选子任务提示下的网络能力。
研究问题
Cybench 使用专业夺旗竞赛任务评估智能体。任务包含说明、初始材料及评测器，智能体与环境交互后提交答案。
代表流程：Dynastic
作者代码仓库以 HackTheBox Cyber Apocalypse 2024 的密码学任务 Dynastic 演示两种评测模式。该任务说明不同程度的引导如何改变测量。
无引导模式只给出最终目标；子任务模式通过中间问题引导推进，并允许记录部分完成情况。因此，同一题目可以产生不同观测：是否完成最终目标，以及完成了哪些中间步骤。
任务与评分
原始集合包含四场竞赛的 40 项任务。无引导完成率、有引导完成率和子任务完成比例分别具有独立含义，多次尝试覆盖也不同于单次成功率。
结果解读
后续报告可能改变任务子集、提示和尝试规则，比较百分比前需要核对这些条件。人类首次解出时间描述竞赛条件下的任务难度，并不是智能体运行时长。
跨报告监测
已发表证据
Cybench · 无子任务引导的任务成功率
跨来源报告的已发表测量。任务范围通过注释区分，配置差异保留在每条观测中。
17 条观测 · 5 已定位日期
● 条件匹配◇ 配置差异□ 部分条件未披露
- Table 2 · Cybench
- Cybench 39/40 unguided challenges
- Cybench unguided
- Cybench 34/40 task subset
12 条观测尚无已核实的模型发布日期，可在数据与系统结果中查看。
选择图中数据点或表格行，查看条件与出处。
17 条观测
| 系统／模型 | 结果 | 条件状态 | 任务／条件 | 评测方／报告 | 日期 |
|---|---|---|---|---|---|
 Kimi K3 | 97.4%Pass@1 | 条件不完整 | Cybench 39/40 unguided challengeshigh reasoning3 submission attempts/challenge; unlimited wall-clock— | Neo ResearchEvaluating Kimi K3 for Misalignment Risks | 发布 2026-07-16报告 2026-09-11 |
 GPT-5.5 | 91.18%Cybench pass@1 | 条件不完整 | Cybench 34/40 task subsetCybench pass@120M total tokens; 100000 output/generationInspect Evals | SaferAIGLM-5.2 Risk Evaluation Report | 发布 2026-04-23报告 2026-08-02 |
 GLM-5.2 | 85.29%Cybench pass@1 | 条件不完整 | Cybench 34/40 task subsetCybench pass@130M total tokens; 131000 output/generationInspect Evals | SaferAIGLM-5.2 Risk Evaluation Report | 发布 2026-06-16报告 2026-08-02 |
 Claude Opus 4.7 | 85.29%Cybench pass@1 | 条件不完整 | Cybench 34/40 task subsetCybench pass@120M total tokens; 100000 output/generationInspect Evals | SaferAIGLM-5.2 Risk Evaluation Report | 发布 2026-04-16报告 2026-08-02 |
| GPT-5.2 | 80%pass@195% CI bars displayed; numeric endpoints not disclosed | 条件不完整 | Cybench unguidedpass@1— | 未披露Evaluating DeepSeek v4 Pro for Frontier Risks | 发布 —报告 2026-05-29 |
 DeepSeek v4 ProDeepSeek V4 Pro | 79.5%pass@195% CI bars displayed; numeric endpoints not disclosed | 条件不完整 | Cybench unguidedxhigh3 submission attempts; unlimited wall-clock timeInspect AI | Neo ResearchEvaluating DeepSeek v4 Pro for Frontier Risks | 发布 2026-04-24报告 2026-05-29 |
| Claude Opus 4.5 | 67.5%pass@195% CI bars displayed; numeric endpoints not disclosed | 条件不完整 | Cybench unguidedpass@1— | 未披露Evaluating DeepSeek v4 Pro for Frontier Risks | 发布 —报告 2026-05-29 |
| Kimi K2.5 | 55%pass@195% CI bars displayed; numeric endpoints not disclosed | 条件不完整 | Cybench unguidedpass@1— | 未披露Evaluating DeepSeek v4 Pro for Frontier Risks | 发布 —报告 2026-05-29 |
| Claude 3.5 Sonnet | 17.5%无引导表现 | 条件不完整 | Table 2 · CybenchStructured bash | 未披露Cybench: A Framework for Evaluating Cybersecurity Capabilities and Risks of Language Models | 发布 —报告 — |
| GPT-4o | 12.5%无引导表现 | 条件不完整 | Table 2 · CybenchStructured bash | 未披露Cybench: A Framework for Evaluating Cybersecurity Capabilities and Risks of Language Models | 发布 —报告 — |
| DeepSeek V3.2 | 12.5%pass@195% CI bars displayed; numeric endpoints not disclosed | 条件不完整 | Cybench unguidedpass@1— | 未披露Evaluating DeepSeek v4 Pro for Frontier Risks | 发布 —报告 2026-05-29 |
| Claude 3 Opus | 10%无引导表现 | 条件不完整 | Table 2 · CybenchStructured bash | 未披露Cybench: A Framework for Evaluating Cybersecurity Capabilities and Risks of Language Models | 发布 —报告 — |
| OpenAI o1-preview | 10%无引导表现 | 条件不完整 | Table 2 · CybenchStructured bash | 未披露Cybench: A Framework for Evaluating Cybersecurity Capabilities and Risks of Language Models | 发布 —报告 — |
 Llama 3.1 405B Instruct | 7.5%无引导表现 | 条件不完整 | Table 2 · CybenchStructured bash | 未披露Cybench: A Framework for Evaluating Cybersecurity Capabilities and Risks of Language Models | 发布 —报告 — |
 Mixtral 8x22b Instruct | 7.5%无引导表现 | 条件不完整 | Table 2 · CybenchStructured bash | 未披露Cybench: A Framework for Evaluating Cybersecurity Capabilities and Risks of Language Models | 发布 —报告 — |
 Gemini 1.5 Pro | 7.5%无引导表现 | 条件不完整 | Table 2 · CybenchStructured bash | 未披露Cybench: A Framework for Evaluating Cybersecurity Capabilities and Risks of Language Models | 发布 —报告 — |
| Llama 3 70b Chat | 5%无引导表现 | 条件不完整 | Table 2 · CybenchStructured bash | 未披露Cybench: A Framework for Evaluating Cybersecurity Capabilities and Risks of Language Models | 发布 —报告 — |
结合任务范围与运行配置解读结果。
METR Time Horizon 1.1 来源已停止积极更新，最后更新于 2026 年 9 月 8 日。超过 16 小时的估计超出其可靠测量范围。
协议、配置与原始证据 →任务与测量
Benchmark 协议档案
- 任务／对象
- 完成 CTF 任务的 AI 智能体
- 测量目标
- 40 项专业 CTF 任务的完成情况。
- 评分／结果口径
- 无引导表现 · 结构化 bash 智能体，每项任务仅一次尝试。无引导任务表现与子任务宏平均表现采用不同聚合方式；不混为一个总分。
- 解释边界
- 竞赛任务与提供的提示不同于现实攻击条件。
测量档案 · NUWA 解读
档案区分来源方法阅读与既有目录信息；已经公开不代表完成独立证据复核或双语编辑复核。
- 测量构念
- 语言模型智能体能够完成怎样的多步安全任务？提供中间目标后，哪些步骤仍困难？
- 任务与样本
- CTF 任务在容器环境中提供说明、本地或远程材料及验收器，覆盖多类问题和首次解出时间。无指导模式只给总目标；子任务模式逐步提供中间问题，每步有有限尝试预算。基线智能体以行动、执行、更新记忆的循环工作，只保留较短近期历史。
- 判分与失效情形
- 无指导完成与最终指导完成均为二元终点；子任务表现是中间问题成功比例，按任务宏平均。表 2 是单次尝试，表 3 取多次尝试最大值。完成依赖正确提交或唯一成功标记。
- 系统条件
- CTF 任务在容器环境中提供说明、本地或远程材料及验收器，覆盖多类问题和首次解出时间。无指导模式只给总目标；子任务模式逐步提供中间问题，每步有有限尝试预算。基线智能体以行动、执行、更新记忆的循环工作，只保留较短近期历史。
- 统计含义
- 表 2 是单次尝试，表 3 取三次最佳；子任务采用宏平均，并非所有问题的合并比例。未披露的区间端点保持未知。
- 效度与解释
- 竞赛题刻意设计为可解，通常较短且代码量小，不代表大型系统中的意外漏洞。不同竞赛计时存在差别；有限记忆、迭代和重复限制了基线。后续子集与 Harness 需要独立版本。
- 适用研究问题
- 模型建议：先确定终点，再比较系统，并显示指导方式和尝试规则，不把 CTF 完成率换算为现实攻陷概率。
- Cybench: A Framework for Evaluating Cybersecurity Capabilities and Risks of Language Models · §2.1 Task SpecificationarXiv:2408.08926v4
- Cybench: A Framework for Evaluating Cybersecurity Capabilities and Risks of Language Models · §2.2 Task Example: MOTP; §2.3 Subtasks; Table 1arXiv:2408.08926v4
- Cybench: A Framework for Evaluating Cybersecurity Capabilities and Risks of Language Models · §2.4 MetricsarXiv:2408.08926v4
- Cybench: A Framework for Evaluating Cybersecurity Capabilities and Risks of Language Models · §3.3 Task Selection; Appendix F First Solve TimearXiv:2408.08926v4
- Cybench: A Framework for Evaluating Cybersecurity Capabilities and Risks of Language Models · §4 LM-based Agent; §5.1 Model Capabilities; Tables 2–3arXiv:2408.08926v4
- Cybench: A Framework for Evaluating Cybersecurity Capabilities and Risks of Language Models · Appendix I.1 Limited agent scaffolding; I.2 Limitation of data sourcesarXiv:2408.08926v4
跨报告证据
相同 Benchmark 名称可能对应不同任务、计分规则和系统配置。各来源分别保留，比较组说明具体对齐了哪些条件。
Cybench: A Framework for Evaluating Cybersecurity Capabilities and Risks of Language Models
Cybench: A Framework for Evaluating Cybersecurity Capabilities and Risks of Language Models
实际评测方: 未披露
8 条结果记录 · 8 个报告系统名称
Neo Research
Evaluating Kimi K3 for Misalignment Risks →
实际评测方: Neo Research
1 条结果记录 · 1 个报告系统名称
协议与比较依据 (1)
Cybench：Pass@1 · Neo Researchsource-report · 范围已审查
Neo Research
Evaluating DeepSeek v4 Pro for Frontier Risks →
实际评测方: Neo Research · 未披露
5 条结果记录 · 5 个报告系统名称
协议与比较依据 (2)
Cybench：pass@1 · Neo Researchsource-report · 范围已审查
Cybench：pass@1 · Neo Researchsource-report · 范围已审查
SaferAI
GLM-5.2 Risk Evaluation Report →
实际评测方: SaferAI
21 条结果记录 · 3 个报告系统名称
协议与比较依据 (8)
Cybench：Cybench category pass@1 · SaferAIsource-report · 范围已审查
Cybench：Cybench category pass@1 · SaferAIsource-report · 范围已审查
Cybench：Cybench category pass@1 · SaferAIsource-report · 范围已审查
Cybench：Cybench category pass@1 · SaferAIsource-report · 范围已审查
Cybench：Cybench category pass@1 · SaferAIsource-report · 范围已审查
Cybench：Cybench category pass@1 · SaferAIsource-report · 范围已审查
Cybench：Cybench pass@1 · SaferAIsource-report · 范围已审查
Cybench：Cybench pass@1 · SaferAIsource-report · 范围已审查
美国 NIST／CAISI · NIST / CAISI
Evaluation of DeepSeek AI Models →
实际评测方: 美国 NIST／CAISI · 未披露
6 条结果记录 · 6 个报告系统名称
协议与比较依据 (4)
Cybench：Reported benchmark performance · 美国 NIST／CAISIsource-report · 范围已审查
Cybench：Reported benchmark performance · NIST / CAISIsource-report · 范围已审查
Cybench：Reported benchmark performance · 美国 NIST／CAISIsource-report · 范围已审查
Cybench：Reported benchmark performance · 美国 NIST／CAISIsource-report · 范围已审查
原始来源图表与材料
原文报告结果
原文顺序 · 原文配置
筛选系统
无引导表现
0–100%Claude 3.5 SonnetClaude 3.5 Sonnet · 17.5% · 结构化 bash 智能体，每项任务仅一次尝试。无引导任务表现与子任务宏平均表现采用不同聚合方式；不混为一个总分。 · Structured bash · 见原文协议；不推断独立试验数量。
17.5%GPT-4oGPT-4o · 12.5% · 结构化 bash 智能体，每项任务仅一次尝试。无引导任务表现与子任务宏平均表现采用不同聚合方式；不混为一个总分。 · Structured bash · 见原文协议；不推断独立试验数量。
12.5%Claude 3 OpusClaude 3 Opus · 10.0% · 结构化 bash 智能体，每项任务仅一次尝试。无引导任务表现与子任务宏平均表现采用不同聚合方式；不混为一个总分。 · Structured bash · 见原文协议；不推断独立试验数量。
10.0%OpenAI o1-previewOpenAI o1-preview · 10.0% · 结构化 bash 智能体，每项任务仅一次尝试。无引导任务表现与子任务宏平均表现采用不同聚合方式；不混为一个总分。 · Structured bash · 见原文协议；不推断独立试验数量。
10.0%Llama 3.1 405B InstructLlama 3.1 405B Instruct · 7.5% · 结构化 bash 智能体，每项任务仅一次尝试。无引导任务表现与子任务宏平均表现采用不同聚合方式；不混为一个总分。 · Structured bash · 见原文协议；不推断独立试验数量。
7.5%Mixtral 8x22b InstructMixtral 8x22b Instruct · 7.5% · 结构化 bash 智能体，每项任务仅一次尝试。无引导任务表现与子任务宏平均表现采用不同聚合方式；不混为一个总分。 · Structured bash · 见原文协议；不推断独立试验数量。
7.5%Gemini 1.5 ProGemini 1.5 Pro · 7.5% · 结构化 bash 智能体，每项任务仅一次尝试。无引导任务表现与子任务宏平均表现采用不同聚合方式；不混为一个总分。 · Structured bash · 见原文协议；不推断独立试验数量。
7.5%Llama 3 70b ChatLlama 3 70b Chat · 5.0% · 结构化 bash 智能体，每项任务仅一次尝试。无引导任务表现与子任务宏平均表现采用不同聚合方式；不混为一个总分。 · Structured bash · 见原文协议；不推断独立试验数量。
5.0%显示 8 / 8 个系统
数值描述原文协议下的测量结果，不是综合安全评分。
结构化 bash 智能体，每项任务仅一次尝试。无引导任务表现与子任务宏平均表现采用不同聚合方式；不混为一个总分。 未单独注明评测日期；下表保留发表或记录日期。
评测条件与系统配置
- Claude 3.5 Sonnet
- 见原文协议；不推断独立试验数量。 · Table 2 · Cybench
- modelVersion: 未注明 · harness: Structured bash · tools: 未注明 · budget: 未注明
- GPT-4o
- 见原文协议；不推断独立试验数量。 · Table 2 · Cybench
- modelVersion: 未注明 · harness: Structured bash · tools: 未注明 · budget: 未注明
- Claude 3 Opus
- 见原文协议；不推断独立试验数量。 · Table 2 · Cybench
- modelVersion: 未注明 · harness: Structured bash · tools: 未注明 · budget: 未注明
- OpenAI o1-preview
- 见原文协议；不推断独立试验数量。 · Table 2 · Cybench
- modelVersion: 未注明 · harness: Structured bash · tools: 未注明 · budget: 未注明
- Llama 3.1 405B Instruct
- 见原文协议；不推断独立试验数量。 · Table 2 · Cybench
- modelVersion: 未注明 · harness: Structured bash · tools: 未注明 · budget: 未注明
- Mixtral 8x22b Instruct
- 见原文协议；不推断独立试验数量。 · Table 2 · Cybench
- modelVersion: 未注明 · harness: Structured bash · tools: 未注明 · budget: 未注明
- Gemini 1.5 Pro
- 见原文协议；不推断独立试验数量。 · Table 2 · Cybench
- modelVersion: 未注明 · harness: Structured bash · tools: 未注明 · budget: 未注明
- Llama 3 70b Chat
- 见原文协议；不推断独立试验数量。 · Table 2 · Cybench
- modelVersion: 未注明 · harness: Structured bash · tools: 未注明 · budget: 未注明
| 系统 / 配置 | 无引导表现 | 子任务引导表现 | 子任务表现 | 发表 / 核验日期 |
|---|---|---|---|---|
| Claude 3.5 SonnetStructured bash | 17.5% | 15.0% | 43.9% | 来源核验2026-10-25 |
| GPT-4oStructured bash | 12.5% | 17.5% | 28.7% | 来源核验2026-10-25 |
| Claude 3 OpusStructured bash | 10.0% | 12.5% | 36.8% | 来源核验2026-10-25 |
| OpenAI o1-previewStructured bash | 10.0% | 10.0% | 46.8% | 来源核验2026-10-25 |
| Llama 3.1 405B InstructStructured bash | 7.5% | 15.0% | 20.5% | 来源核验2026-10-25 |
| Mixtral 8x22b InstructStructured bash | 7.5% | 5.0% | 15.2% | 来源核验2026-10-25 |
| Gemini 1.5 ProStructured bash | 7.5% | 5.0% | 11.7% | 来源核验2026-10-25 |
| Llama 3 70b ChatStructured bash | 5.0% | 7.5% | 8.2% | 来源核验2026-10-25 |
评估出处
Evaluating Kimi K3 for Misalignment Risks → · 外部报告
Evaluating DeepSeek v4 Pro for Frontier Risks → · 外部报告
相关研究问题
网络安全 / 网络任务执行 →
来源在其协议下直接测量所述构念。
参考文献
- [1] Cybench: official task implementation ; README: Example Unguided Mode Run / Example Subtask Mode Run
- [2] Andy K. Zhang, Neil Perry 等. Cybench: A Framework for Evaluating Cybersecurity Capabilities and Risks of Language Models. 2025-04-12. v4 [arXiv]; Task protocol; unguided and subtask-guided evaluation; Author affiliations on the original paper title page; Table 2
- [3] Kimi Code — What’s New ; Kimi K3 · July 16, 2026
- [4] kimi-k3 developer model card ; Model Summary: Total Parameters; Activated Parameters
- [5] Z.ai release notes ; GLM-5.2 entry dated 2026-06-16
- [6] GLM-5.2 model card ; Parameter counts not disclosed in reviewed developer source
- [7] deepseek-v4-pro release ; News article title, dated heading and availability
- [8] deepseek-v4-pro developer model card ; Introduction; model comparison table
- [9] OpenAI — introducing gpt 5 5 ; Publication date and availability section; Parameter counts not disclosed in launch article
- [10] Introducing Claude Opus 4.7 — Anthropic ; Publication date and availability section; Official launch article; parameter counts not disclosed
- [11] deepseek-r1 developer model card ; Model Downloads: DeepSeek-R1 row
- [12] deepseek-r1-0528 release ; News article title, dated heading and availability
- [13] deepseek-v3-1 release ; News article title, dated heading and availability
- [14] deepseek-v3-1 developer model card ; Model Downloads: DeepSeek-V3.1 row
- [15] OpenAI — introducing gpt 5 ; Publication date and availability section; Parameter counts not disclosed in launch article
- [16] OpenAI — introducing gpt oss ; Publication date and availability section
- [17] gpt-oss-120b developer model card ; Introduction: gpt-oss-120b parameters
- [18] Evaluating Kimi K3 for Misalignment Risks. 2026-09-11. September 2026 ; §2.1.1 pp.19–20 Figure 12
- [19] Evaluating DeepSeek v4 Pro for Frontier Risks. 2026-05-29. v1.1 · 29 May 2026 ; PDF p. 8; Cybench unguided; pass@1
- [20] GLM-5.2 Risk Evaluation Report. 2026-08-02. v1.1 · revised 26 August 2026 ; p.6 Fig.1; p.6 Fig.2 printed bar label
- [21] Evaluation of DeepSeek AI Models. 2025-09-30. 30 September 2025 ; p. 24, Table 4.1, row Cybench, column OpenAI GPT-5; p. 24, Table 4.1, row Cybench, column Anthropic Opus 4; p. 24, Table 4.1, row Cybench, column OpenAI gpt-oss