NUWA 评测档案
BountyBench
围绕真实代码库中的漏洞生命周期，分别评测发现、利用和修补任务。
跨报告监测
已发表证据
BountyBench · 修补成功率
跨来源报告的已发表测量。任务范围通过注释区分，配置差异保留在每条观测中。
10 条观测 · 0 已定位日期
● 条件匹配◇ 配置差异□ 部分条件未披露
10 条观测尚无已核实的模型发布日期，可在数据与系统结果中查看。
选择图中数据点或表格行，查看条件与出处。
10 条观测
| 系统／模型 | 结果 | 条件状态 | 任务／条件 | 评测方／报告 | 日期 |
|---|---|---|---|---|---|
 OpenAI Codex CLI: o3-high | 90%修补成功率 | 条件不完整 | Table 1 · BountyBench— | 未披露BountyBench: Dollar Impact of AI Agent Attackers and Defenders on Real-World Cybersecurity Systems | 发布 —报告 — |
| OpenAI Codex CLI: o4-mini | 90%修补成功率 | 条件不完整 | Table 1 · BountyBench— | 未披露BountyBench: Dollar Impact of AI Agent Attackers and Defenders on Real-World Cybersecurity Systems | 发布 —报告 — |
| Claude Code | 87.5%修补成功率 | 条件不完整 | Table 1 · BountyBench— | 未披露BountyBench: Dollar Impact of AI Agent Attackers and Defenders on Real-World Cybersecurity Systems | 发布 —报告 — |
 C-Agent: Claude 3.7 | 60%修补成功率 | 条件不完整 | Table 1 · BountyBench— | 未披露BountyBench: Dollar Impact of AI Agent Attackers and Defenders on Real-World Cybersecurity Systems | 发布 —报告 — |
| C-Agent: GPT-4.1 | 50%修补成功率 | 条件不完整 | Table 1 · BountyBench— | 未披露BountyBench: Dollar Impact of AI Agent Attackers and Defenders on Real-World Cybersecurity Systems | 发布 —报告 — |
 C-Agent: DeepSeek-R1 | 50%修补成功率 | 条件不完整 | Table 1 · BountyBench— | 未披露BountyBench: Dollar Impact of AI Agent Attackers and Defenders on Real-World Cybersecurity Systems | 发布 —报告 — |
 C-Agent: Gemini 2.5 | 45%修补成功率 | 条件不完整 | Table 1 · BountyBench— | 未披露BountyBench: Dollar Impact of AI Agent Attackers and Defenders on Real-World Cybersecurity Systems | 发布 —报告 — |
 C-Agent: Llama 4 Maverick | 42.5%修补成功率 | 条件不完整 | Table 1 · BountyBench— | 未披露BountyBench: Dollar Impact of AI Agent Attackers and Defenders on Real-World Cybersecurity Systems | 发布 —报告 — |
| C-Agent: o3-high | 35%修补成功率 | 条件不完整 | Table 1 · BountyBench— | 未披露BountyBench: Dollar Impact of AI Agent Attackers and Defenders on Real-World Cybersecurity Systems | 发布 —报告 — |
 C-Agent: Qwen3 235B A22B | 25%修补成功率 | 条件不完整 | Table 1 · BountyBench— | 未披露BountyBench: Dollar Impact of AI Agent Attackers and Defenders on Real-World Cybersecurity Systems | 发布 —报告 — |
结合任务范围与运行配置解读结果。
METR Time Horizon 1.1 来源已停止积极更新，最后更新于 2026 年 9 月 8 日。超过 16 小时的估计超出其可靠测量范围。
协议、配置与原始证据 →任务与测量
Benchmark 协议档案
- 任务／对象
- 原任务配置下的模型或智能体系统
- 测量目标
- 围绕真实代码库中的漏洞生命周期，分别评测发现、利用和修补任务。
- 评分／结果口径
- 检测成功率 · 表 1 的检测、利用与修补成功率，每项任务最多三次尝试。保留各脚手架差异，不合成总分。
- 解释边界
- 发现、利用和修补的信息条件与成功标准不同，赏金金额不能估计现实损失。
一项已报告评测
来源评测 Claude Code · Table 1 · BountyBench.
报告指标: 检测成功率 · 5.0%.
表 1 的检测、利用与修补成功率，每项任务最多三次尝试。保留各脚手架差异，不合成总分。 见原文协议；不推断独立试验数量。
原文 Table 1 报告的 Claude Code 测量结果；数值为转录，未独立复现实验。
测量档案 · NUWA 解读
档案区分来源方法阅读与既有目录信息；已经公开不代表完成独立证据复核或双语编辑复核。
- 测量构念
- 同一框架能否区分真实应用中的发现、利用与修补？
- 任务与样本
- 25个手工配置系统含40项获赏漏洞，通过不同提示信息分别评测发现、利用和修补。
- 判分与失效情形
- 发现、利用、修补通过标准不同，所报最多三次最佳。
- 系统条件
- 25系统40漏洞，各任务提供信息不同。
- 统计含义
- 来源报告的结果表述；这不等同于已确定运行次数、分母或估计方法： 最多三次尝试时，不同框架最佳分别为12.5%、67.5%、90%。
- 效度与解释
- 已添加漏洞覆盖和不完整不变量可能漏新问题或未充分修复，环境构造很依赖人工。
- 适用研究问题
- 模型建议：保留各任务智能体、尝试数及验证覆盖，不合成单一网络分。
- BountyBench: Dollar Impact of AI Agent Attackers and Defenders on Real-World Cybersecurity Systems · AbstractSelected original resource https://arxiv.org/html/2505.15216; sha256:20b337b2f78d1ea058b3ca071004daead3ff8f1bb4b8f84fdbfbbdd74256ab52; archived source capture; exact capture time not independently established
- BountyBench: Dollar Impact of AI Agent Attackers and Defenders on Real-World Cybersecurity Systems · §4 ExperimentsSelected original resource https://arxiv.org/html/2505.15216; sha256:20b337b2f78d1ea058b3ca071004daead3ff8f1bb4b8f84fdbfbbdd74256ab52; archived source capture; exact capture time not independently established
- BountyBench: Dollar Impact of AI Agent Attackers and Defenders on Real-World Cybersecurity Systems · §6 DiscussionSelected original resource https://arxiv.org/html/2505.15216; sha256:20b337b2f78d1ea058b3ca071004daead3ff8f1bb4b8f84fdbfbbdd74256ab52; archived source capture; exact capture time not independently established
跨报告证据
相同 Benchmark 名称可能对应不同任务、计分规则和系统配置。各来源分别保留，比较组说明具体对齐了哪些条件。
BountyBench: Dollar Impact of AI Agent Attackers and Defenders on Real-World Cybersecurity Systems
BountyBench: Dollar Impact of AI Agent Attackers and Defenders on Real-World Cybersecurity Systems
实际评测方: 未披露
10 条结果记录 · 10 个报告系统名称
原始来源图表与材料
原文报告结果
原文顺序 · 原文配置
筛选系统
检测成功率
0–100%Claude Code
Claude Code · 5.0% · 表 1 的检测、利用与修补成功率，每项任务最多三次尝试。保留各脚手架差异，不合成总分。 · 见原文协议；不推断独立试验数量。
5.0%OpenAI Codex CLI: o3-highOpenAI Codex CLI: o3-high · 12.5% · 表 1 的检测、利用与修补成功率，每项任务最多三次尝试。保留各脚手架差异，不合成总分。 · 见原文协议；不推断独立试验数量。
12.5%OpenAI Codex CLI: o4-miniOpenAI Codex CLI: o4-mini · 5.0% · 表 1 的检测、利用与修补成功率，每项任务最多三次尝试。保留各脚手架差异，不合成总分。 · 见原文协议；不推断独立试验数量。
5.0%C-Agent: o3-highC-Agent: o3-high · 0.0% · 表 1 的检测、利用与修补成功率，每项任务最多三次尝试。保留各脚手架差异，不合成总分。 · 见原文协议；不推断独立试验数量。
0.0%C-Agent: GPT-4.1C-Agent: GPT-4.1 · 0.0% · 表 1 的检测、利用与修补成功率，每项任务最多三次尝试。保留各脚手架差异，不合成总分。 · 见原文协议；不推断独立试验数量。
0.0%C-Agent: Gemini 2.5C-Agent: Gemini 2.5 · 2.5% · 表 1 的检测、利用与修补成功率，每项任务最多三次尝试。保留各脚手架差异，不合成总分。 · 见原文协议；不推断独立试验数量。
2.5%C-Agent: Claude 3.7C-Agent: Claude 3.7 · 5.0% · 表 1 的检测、利用与修补成功率，每项任务最多三次尝试。保留各脚手架差异，不合成总分。 · 见原文协议；不推断独立试验数量。
5.0%C-Agent: Qwen3 235B A22BC-Agent: Qwen3 235B A22B · 0.0% · 表 1 的检测、利用与修补成功率，每项任务最多三次尝试。保留各脚手架差异，不合成总分。 · 见原文协议；不推断独立试验数量。
0.0%C-Agent: Llama 4 MaverickC-Agent: Llama 4 Maverick · 0.0% · 表 1 的检测、利用与修补成功率，每项任务最多三次尝试。保留各脚手架差异，不合成总分。 · 见原文协议；不推断独立试验数量。
0.0%C-Agent: DeepSeek-R1C-Agent: DeepSeek-R1 · 2.5% · 表 1 的检测、利用与修补成功率，每项任务最多三次尝试。保留各脚手架差异，不合成总分。 · 见原文协议；不推断独立试验数量。
2.5%显示 10 / 10 个系统
数值描述原文协议下的测量结果，不是综合安全评分。
表 1 的检测、利用与修补成功率，每项任务最多三次尝试。保留各脚手架差异，不合成总分。 未单独注明评测日期；下表保留发表或记录日期。
评测条件与系统配置
- Claude Code
- 见原文协议；不推断独立试验数量。 · Table 1 · BountyBench
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- OpenAI Codex CLI: o3-high
- 见原文协议；不推断独立试验数量。 · Table 1 · BountyBench
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- OpenAI Codex CLI: o4-mini
- 见原文协议；不推断独立试验数量。 · Table 1 · BountyBench
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- C-Agent: o3-high
- 见原文协议；不推断独立试验数量。 · Table 1 · BountyBench
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- C-Agent: GPT-4.1
- 见原文协议；不推断独立试验数量。 · Table 1 · BountyBench
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- C-Agent: Gemini 2.5
- 见原文协议；不推断独立试验数量。 · Table 1 · BountyBench
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- C-Agent: Claude 3.7
- 见原文协议；不推断独立试验数量。 · Table 1 · BountyBench
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- C-Agent: Qwen3 235B A22B
- 见原文协议；不推断独立试验数量。 · Table 1 · BountyBench
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- C-Agent: Llama 4 Maverick
- 见原文协议；不推断独立试验数量。 · Table 1 · BountyBench
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- C-Agent: DeepSeek-R1
- 见原文协议；不推断独立试验数量。 · Table 1 · BountyBench
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
| 系统 / 配置 | 检测成功率 | 利用成功率 | 修补成功率 | 发表 / 核验日期 |
|---|---|---|---|---|
| Claude Code未注明 Harness | 5.0% | 57.5% | 87.5% | 来源核验2026-10-25 |
| OpenAI Codex CLI: o3-high未注明 Harness | 12.5% | 47.5% | 90.0% | 来源核验2026-10-25 |
| OpenAI Codex CLI: o4-mini未注明 Harness | 5.0% | 32.5% | 90.0% | 来源核验2026-10-25 |
| C-Agent: o3-high未注明 Harness | 0.0% | 37.5% | 35.0% | 来源核验2026-10-25 |
| C-Agent: GPT-4.1未注明 Harness | 0.0% | 55.0% | 50.0% | 来源核验2026-10-25 |
| C-Agent: Gemini 2.5未注明 Harness | 2.5% | 40.0% | 45.0% | 来源核验2026-10-25 |
| C-Agent: Claude 3.7未注明 Harness | 5.0% | 67.5% | 60.0% | 来源核验2026-10-25 |
| C-Agent: Qwen3 235B A22B未注明 Harness | 0.0% | 17.5% | 25.0% | 来源核验2026-10-25 |
| C-Agent: Llama 4 Maverick未注明 Harness | 0.0% | 42.5% | 42.5% | 来源核验2026-10-25 |
| C-Agent: DeepSeek-R1未注明 Harness | 2.5% | 37.5% | 50.0% | 来源核验2026-10-25 |
相关研究问题
参考文献
数值结果由所引研究的作者报告。
- [1] Andy K. Zhang, Joey Ji 等. BountyBench: Dollar Impact of AI Agent Attackers and Defenders on Real-World Cybersecurity Systems. 2025-05-21. v3 [arXiv]; Author affiliations on the original paper title page; Table 1