评测档案

CVE-Bench

在可运行环境中，以明确成功判据评测智能体利用真实 Web 应用漏洞的能力。

伊利诺伊大学厄巴纳—香槟分校 / arXiv:2503.17332v4 / Capability · 任务能力

来源与出处 ↓ 阅读研究记录 →

跨报告监测

已发表证据

CVE-Bench · Reported benchmark performance

跨来源报告的已发表测量。任务范围通过注释区分，配置差异保留在每条观测中。

6 条观测 · 0 已定位日期

● 条件匹配◇ 配置差异□ 部分条件未披露

6 条观测尚无已核实的模型发布日期，可在数据与系统结果中查看。

选择图中数据点或表格行，查看条件与出处。

6 条观测

测量值与来源条件
系统／模型	结果	条件状态	任务／条件	评测方／报告	日期
Anthropic Opus 4	66.7%Reported benchmark performance	条件不完整	CVE-Benchthinking budget 0500,000 weighted tokens per agentic task (Appendix A2)CAISI ReAct-style agent; Inspect	未披露Evaluation of DeepSeek AI Models	发布 —报告 2025-09-30
OpenAI GPT-5	65.6%Reported benchmark performance	条件不完整	CVE-Benchmedium reasoning effort500,000 weighted tokens per agentic task (Appendix A2)CAISI ReAct-style agent; Inspect	未披露Evaluation of DeepSeek AI Models	发布 —报告 2025-09-30
OpenAI gpt-oss	42.2%Reported benchmark performance	条件不完整	CVE-Benchmedium reasoning effort500,000 weighted tokens per agentic task (Appendix A2)CAISI ReAct-style agent; Inspect	未披露Evaluation of DeepSeek AI Models	发布 —报告 2025-09-30
DeepSeek V3.1	36.7%Reported benchmark performance	条件不完整	CVE-Benchnon-thinking (tool calling)500,000 weighted tokens per agentic task (Appendix A2)CAISI ReAct-style agent; Inspect	未披露Evaluation of DeepSeek AI Models	发布 —报告 2025-09-30
DeepSeek R1-0528	36%Reported benchmark performance	条件不完整	CVE-BenchReported benchmark performance500,000 weighted tokens per agentic task (Appendix A2)CAISI ReAct-style agent; Inspect	未披露Evaluation of DeepSeek AI Models	发布 —报告 2025-09-30
DeepSeek R1	26.7%Reported benchmark performance	条件不完整	CVE-BenchReported benchmark performance500,000 weighted tokens per agentic task (Appendix A2)CAISI ReAct-style agent; Inspect	未披露Evaluation of DeepSeek AI Models	发布 —报告 2025-09-30

任务与测量

Benchmark 协议档案

任务／对象: 原任务配置下的模型或智能体系统
测量目标: 在可运行环境中，以明确成功判据评测智能体利用真实 Web 应用漏洞的能力。
评分／结果口径: Reported benchmark performance · 记录配置下的来源报告指标。
解释边界: 已披露漏洞与有界环境不同于开放式发现和企业入侵。

一项已报告评测

来源评测 OpenAI GPT-5 · CVE-Bench.

运行配置: CAISI ReAct-style agent; Inspect · 500,000 weighted tokens per agentic task (Appendix A2).

报告指标: Reported benchmark performance · 65.6%.

记录配置下的来源报告指标。来源分母：15（单位未披露）

Reported benchmark performance：65.6 percent；保留来源条件。

测量档案 · NUWA 解读

档案区分来源方法阅读与既有目录信息；已经公开不代表完成独立证据复核或双语编辑复核。

测量构念: 智能体能否在隔离环境利用真实严重Web CVE？
任务与样本: 40个CVE使用沙箱与八类预定义结果，区分无披露描述和有披露描述的信息条件。
判分与失效情形: 八类预定结果成功，区分无披露与有披露信息。
系统条件: 隔离重建应用中40个严重Web CVE。
统计含义: 来源报告的结果表述；这不等同于已确定运行次数、分母或估计方法：受测智能体框架最高成功13%。成功攻击的组成随框架与信息条件变化（§4.2）。
效度与解释: 仅覆盖特定时期40个Web CVE，八类外的攻击可能被漏判（§5）。
适用研究问题: 模型建议：比较复现型基准前保留信息条件及结果覆盖范围。

CVE-Bench: A Benchmark for AI Agents’ Ability to Exploit Real-World Web Application Vulnerabilities · AbstractSelected original resource https://arxiv.org/html/2503.17332; sha256:653883d8aa53bf652f06e5c89d5906f1b0078e2f4da5b7d455baf562250b505f; archived source capture; exact capture time not independently established
CVE-Bench: A Benchmark for AI Agents’ Ability to Exploit Real-World Web Application Vulnerabilities · §3.2 Task SpecificationSelected original resource https://arxiv.org/html/2503.17332; sha256:653883d8aa53bf652f06e5c89d5906f1b0078e2f4da5b7d455baf562250b505f; archived source capture; exact capture time not independently established
CVE-Bench: A Benchmark for AI Agents’ Ability to Exploit Real-World Web Application Vulnerabilities · §3.3 Benchmark ConstructionSelected original resource https://arxiv.org/html/2503.17332; sha256:653883d8aa53bf652f06e5c89d5906f1b0078e2f4da5b7d455baf562250b505f; archived source capture; exact capture time not independently established
CVE-Bench: A Benchmark for AI Agents’ Ability to Exploit Real-World Web Application Vulnerabilities · §4.2 ResultsSelected original resource https://arxiv.org/html/2503.17332; sha256:653883d8aa53bf652f06e5c89d5906f1b0078e2f4da5b7d455baf562250b505f; archived source capture; exact capture time not independently established
CVE-Bench: A Benchmark for AI Agents’ Ability to Exploit Real-World Web Application Vulnerabilities · §5 DiscussionSelected original resource https://arxiv.org/html/2503.17332; sha256:653883d8aa53bf652f06e5c89d5906f1b0078e2f4da5b7d455baf562250b505f; archived source capture; exact capture time not independently established

跨报告证据

相同 Benchmark 名称可能对应不同任务、计分规则和系统配置。各来源分别保留，比较组说明具体对齐了哪些条件。

NIST / CAISI

Evaluation of DeepSeek AI Models →

实际评测方: 未披露

6 条结果记录 · 6 个报告系统名称

协议与比较依据 (4)

CVE-Bench：Reported benchmark performance · NIST / CAISIsource-report · 范围已审查

原始来源图表与材料

CVE-Bench — Figure 1 — **Figure 1** · 原文 Figure 1。请结合下方的协议范围与局限阅读。查看原图 ↗

参考文献

[1] Evaluation of DeepSeek AI Models. 2025-09-30. 30 September 2025 ; p. 24, Table 4.1, row CVE-Bench, column OpenAI GPT-5; p. 24, Table 4.1, row CVE-Bench, column Anthropic Opus 4; p. 24, Table 4.1, row CVE-Bench, column OpenAI gpt-oss
[2] Yuxuan Zhu, Antony Kellermann 等. CVE-Bench: A Benchmark for AI Agents' Ability to Exploit Real-World Web Application Vulnerabilities. 2025-03-21. v4 [arXiv]; Author affiliations on the original paper title page; Figure 1

搜索 NUWA Index