评测档案
ExploitGym
在真实软件目标上评测利用构造,并核查成功是否依赖指定漏洞。
跨报告监测
已发表证据
ExploitGym · 指定目标成功数
跨来源报告的已发表测量。任务范围通过注释区分,配置差异保留在每条观测中。
20 条观测 · 10 已定位日期
● 条件匹配◇ 配置差异□ 部分条件未披露
- v1
- v0
- Version not specified
10 条观测尚无已核实的模型发布日期,可在数据与系统结果中查看。
选择图中数据点或表格行,查看条件与出处。
20 条观测
| 系统/模型 | 结果 | 条件状态 | 任务/条件 | 评测方/报告 | 日期 |
|---|---|---|---|---|---|
| 293 count指定目标成功数 | 条件不完整 | v1on_target6h timeoutCodex CLI | 未披露ExploitGym official leaderboard and benchmark page | 发布 —报告 — | |
| 247 count指定目标成功数 | 条件不完整 | Version not specifiedon_target6h timeout— | 未披露ExploitGym official leaderboard and benchmark page | 发布 —报告 — | |
| 216 count指定目标成功数 | 条件不完整 | v1on_target2h timeout cutoffCodex CLI | 未披露ExploitGym official leaderboard and benchmark page | 发布 —报告 — | |
| 191 count指定目标成功数 | 条件不完整 | Version not specifiedon_target6h timeout— | 未披露ExploitGym official leaderboard and benchmark page | 发布 —报告 — | |
| 181 count指定目标成功数 | 条件不完整 | Version not specifiedon_target2h timeout cutoff— | 未披露ExploitGym official leaderboard and benchmark page | 发布 —报告 — | |
| 171 count指定目标成功数 | 条件不完整 | Version not specifiedon_target2h timeout cutoff— | 未披露ExploitGym official leaderboard and benchmark page | 发布 —报告 — | |
| 130 count指定目标成功数 | 条件不完整 | Version not specifiedon_targetrescaled 6h timeoutClaude Code | 未披露ExploitGym official leaderboard and benchmark page | 发布 —报告 — | |
| 129 count指定目标成功数 | 条件不完整 | v1on_target2h timeoutCodex CLI | 未披露ExploitGym official leaderboard and benchmark page | 发布 2026-04-23报告 — | |
| 120 count指定目标成功数 | 条件不完整 | Version not specifiedon_target6h timeout— | 未披露ExploitGym official leaderboard and benchmark page | 发布 2026-05-28报告 — | |
| 105 count指定目标成功数 | 条件不完整 | Version not specifiedon_targetrescaled 2h timeoutClaude Code | 未披露ExploitGym official leaderboard and benchmark page | 发布 —报告 — | |
| 80 count指定目标成功数 | 条件不完整 | Version not specifiedon_target2h timeout cutoff— | 未披露ExploitGym official leaderboard and benchmark page | 发布 2026-05-28报告 — | |
| 79 count指定目标成功数 | 条件不完整 | Version not specifiedon_targetselected subsetDoGNAVY | 未披露ExploitGym official leaderboard and benchmark page | 发布 2026-06-16报告 — | |
| 61 count指定目标成功数 | 条件不完整 | v1on_target2h timeoutCodex CLI | 未披露ExploitGym official leaderboard and benchmark page | 发布 2026-03-05报告 — | |
| 39 count指定目标成功数 | 条件不完整 | Version not specifiedon_targetrescaled 6h timeoutClaude Code | 未披露ExploitGym official leaderboard and benchmark page | 发布 2026-06-16报告 — | |
| 29 count指定目标成功数 | 条件不完整 | Version not specifiedon_targetrescaled 2h timeoutClaude Code | 未披露ExploitGym official leaderboard and benchmark page | 发布 2026-06-16报告 — | |
| 16 count指定目标成功数 | 条件不完整 | v1on_target2h timeoutClaude Code | 未披露ExploitGym official leaderboard and benchmark page | 发布 2026-02-05报告 — | |
| 12 count指定目标成功数 | 条件不完整 | v1on_target2h timeoutClaude Code | 未披露ExploitGym official leaderboard and benchmark page | 发布 2026-04-16报告 — | |
| 12 count指定目标成功数 | 条件不完整 | v0on_target2h timeoutGemini CLI | 未披露ExploitGym official leaderboard and benchmark page | 发布 2026-02-19报告 — | |
| 7 count指定目标成功数 | 条件不完整 | v1on_target4h timeoutMeta Agent (off-the-shelf agent harness) | 未披露ExploitGym official leaderboard and benchmark page | 发布 —报告 — | |
| 4 count指定目标成功数 | 条件不完整 | v1on_target2h timeoutClaude Code | 未披露ExploitGym official leaderboard and benchmark page | 发布 —报告 — |
结合任务范围与运行配置解读结果。
METR Time Horizon 1.1 来源已停止积极更新,最后更新于 2026 年 9 月 8 日。超过 16 小时的估计超出其可靠测量范围。
协议、配置与原始证据 →任务与测量
Benchmark 协议档案
- 任务/对象
- 原任务配置下的模型或智能体系统
- 测量目标
- 在真实软件目标上评测利用构造,并核查成功是否依赖指定漏洞。
- 评分/结果口径
- 指定目标成功数 · 记录配置下的来源报告指标。
- 解释边界
- 性能判断须同时说明目标防护、已提供材料和漏洞归因。
一项已报告评测
来源评测 GPT-5.6 Sol (reasoning max) · Codex CLI · v1.
运行配置: Codex CLI · 6h timeout.
报告指标: 指定目标成功数 · 293 count.
记录配置下的来源报告指标。 原文未披露本结果的样本量
指定目标成功数:293 count;保留来源条件。
测量档案 · NUWA 解读
档案区分来源方法阅读与既有目录信息;已经公开不代表完成独立证据复核或双语编辑复核。
- 测量构念
- 智能体能否跨系统将给定漏洞触发扩展为具体安全影响?
- 任务与样本
- 898例覆盖用户态、V8和Linux,采用可复现容器、不同防护与时间成本受限尝试。
- 判分与失效情形
- 成功标志与预期漏洞归因分别报告。
- 系统条件
- 898例,用户态V8Linux保护变体及时间成本受限尝试。
- 统计含义
- 来源报告的结果表述;这不等同于已确定运行次数、分母或估计方法: GPT-5.5和Mythos Preview成功例仅56.7%、69.5%符合预期归因(§4)。
- 效度与解释
- 并非每题都有真实利用解;拒绝、工具故障和不可解任务均可能降低成功率(§5)。
- 适用研究问题
- 模型建议:原始成功率旁保留归因审计、防护设置与尝试预算。
- ExploitGym: Can AI Agents Turn Security Vulnerabilities into Real Attacks? · AbstractSelected original resource https://arxiv.org/html/2605.11086; sha256:06690e18ab2d762801ec3f66a49531df74744a18f15e2bc9e54866e8e3c8e23e; archived source capture; exact capture time not independently established
- ExploitGym: Can AI Agents Turn Security Vulnerabilities into Real Attacks? · §3 ExploitGym BenchmarkSelected original resource https://arxiv.org/html/2605.11086; sha256:06690e18ab2d762801ec3f66a49531df74744a18f15e2bc9e54866e8e3c8e23e; archived source capture; exact capture time not independently established
- ExploitGym: Can AI Agents Turn Security Vulnerabilities into Real Attacks? · §4 EvaluationSelected original resource https://arxiv.org/html/2605.11086; sha256:06690e18ab2d762801ec3f66a49531df74744a18f15e2bc9e54866e8e3c8e23e; archived source capture; exact capture time not independently established
- ExploitGym: Can AI Agents Turn Security Vulnerabilities into Real Attacks? · §5 Discussion and ConclusionSelected original resource https://arxiv.org/html/2605.11086; sha256:06690e18ab2d762801ec3f66a49531df74744a18f15e2bc9e54866e8e3c8e23e; archived source capture; exact capture time not independently established
跨报告证据
相同 Benchmark 名称可能对应不同任务、计分规则和系统配置。各来源分别保留,比较组说明具体对齐了哪些条件。
ExploitGym website
ExploitGym official leaderboard and benchmark page →
实际评测方: 未披露
21 条结果记录 · 14 个报告系统名称
协议与比较依据 (12)
ExploitGym:Flag 获取数 · ExploitGym websitesource-report · 范围已审查
ExploitGym:指定目标成功数 · ExploitGym websitesource-report · 范围已审查
ExploitGym:指定目标成功数 · ExploitGym websitesource-report · 范围已审查
ExploitGym:指定目标成功数 · ExploitGym websitesource-report · 范围已审查
ExploitGym:指定目标成功数 · ExploitGym websitesource-report · 范围已审查
ExploitGym:指定目标成功数 · ExploitGym websitesource-report · 范围已审查
ExploitGym:指定目标成功数 · ExploitGym websitesource-report · 范围已审查
ExploitGym:指定目标成功数 · ExploitGym websitesource-report · 范围已审查
ExploitGym:指定目标成功数 · ExploitGym websitesource-report · 范围已审查
ExploitGym:指定目标成功数 · ExploitGym websitesource-report · 范围已审查
ExploitGym:指定目标成功数 · ExploitGym websitesource-report · 范围已审查
ExploitGym:指定目标成功数 · ExploitGym websitesource-report · 范围已审查
原始来源图表与材料
评测结果
筛选系统与配置
数据报告方: ExploitGym website · 实际执行方: 各提交的执行方未完整确定 · 抓取时间: 2026-10-26
指定目标成功与 Flag 获取是不同的计数。任务版本和超时截点分别保留,不将目录总任务数视为各提交的分母。
图表按来源顺序展示 8/8 个系统
指定目标成功数 · v1
- Codex CLI · 6h timeout
- Codex CLI · 2h timeout cutoff
- Meta Agent (off-the-shelf agent harness) · 4h timeout
- Codex CLI · 2h timeout
GPT-5.4 · Codex CLI61 countCodex CLI · 2h timeout- Claude Code · 2h timeout
Claude Opus 4.7 · Claude Code12 countClaude Code · 2h timeout
GLM-5.1 · Claude Code4 countClaude Code · 2h timeout
| 系统 | 结果 | 任务集/模式 | 运行配置 | 日期/归属 |
|---|---|---|---|---|
| 293 count | v1on_target | Codex CLI6h timeout · ? 次尝试 | 2026-07-13来源行日期;含义未明确 · ExploitGym website · 执行方: 未注明 | |
| 216 count | v1on_target | Codex CLI2h timeout cutoff · ? 次尝试 | 未注明来源行日期;含义未明确 · ExploitGym website · 执行方: 未注明 | |
| 7 count | v1on_target | Meta Agent (off-the-shelf agent harness)4h timeout · ? 次尝试 | 2026-07-09来源行日期;含义未明确 · ExploitGym website · 执行方: 未注明 | |
| 129 count | v1on_target | Codex CLI2h timeout · ? 次尝试 | 2026-06-16来源行日期;含义未明确 · ExploitGym website · 执行方: 未注明 | |
| 208 count | v1flag_captured | Codex CLI2h timeout · ? 次尝试 | 2026-06-16来源行日期;含义未明确 · ExploitGym website · 执行方: 未注明 | |
| 61 count | v1on_target | Codex CLI2h timeout · ? 次尝试 | 2026-06-16来源行日期;含义未明确 · ExploitGym website · 执行方: 未注明 | |
| 16 count | v1on_target | Claude Code2h timeout · ? 次尝试 | 2026-06-16来源行日期;含义未明确 · ExploitGym website · 执行方: 未注明 | |
| 12 count | v0on_target | Gemini CLI2h timeout · ? 次尝试 | 2026-05-13来源行日期;含义未明确 · ExploitGym website · 执行方: 未注明 | |
| 12 count | v1on_target | Claude Code2h timeout · ? 次尝试 | 2026-06-16来源行日期;含义未明确 · ExploitGym website · 执行方: 未注明 | |
| 4 count | v1on_target | Claude Code2h timeout · ? 次尝试 | 2026-06-16来源行日期;含义未明确 · ExploitGym website · 执行方: 未注明 | |
| 247 count | Version not specifiedon_target | 未注明6h timeout · ? 次尝试 | 2026-06-09来源行日期;含义未明确 · ExploitGym website · 执行方: 未注明 | |
| 181 count | Version not specifiedon_target | 未注明2h timeout cutoff · ? 次尝试 | 未注明来源行日期;含义未明确 · ExploitGym website · 执行方: 未注明 | |
| 191 count | Version not specifiedon_target | 未注明6h timeout · ? 次尝试 | 2026-07-24来源行日期;含义未明确 · ExploitGym website · 执行方: 未注明 | |
| 171 count | Version not specifiedon_target | 未注明2h timeout cutoff · ? 次尝试 | 未注明来源行日期;含义未明确 · ExploitGym website · 执行方: 未注明 | |
| 120 count | Version not specifiedon_target | 未注明6h timeout · ? 次尝试 | 2026-05-28来源行日期;含义未明确 · ExploitGym website · 执行方: 未注明 | |
| 80 count | Version not specifiedon_target | 未注明2h timeout cutoff · ? 次尝试 | 未注明来源行日期;含义未明确 · ExploitGym website · 执行方: 未注明 | |
| 79 count | Version not specifiedon_target | DoGNAVYselected subset · ? 次尝试 | 2026-08-22来源行日期;含义未明确 · ExploitGym website · 执行方: 未注明 | |
| 130 count | Version not specifiedon_target | Claude Coderescaled 6h timeout · ? 次尝试 | 2026-08-18来源行日期;含义未明确 · ExploitGym website · 执行方: 未注明 | |
| 105 count | Version not specifiedon_target | Claude Coderescaled 2h timeout · ? 次尝试 | 未注明来源行日期;含义未明确 · ExploitGym website · 执行方: 未注明 | |
| 39 count | Version not specifiedon_target | Claude Coderescaled 6h timeout · ? 次尝试 | 2026-08-18来源行日期;含义未明确 · ExploitGym website · 执行方: 未注明 | |
| 29 count | Version not specifiedon_target | Claude Coderescaled 2h timeout · ? 次尝试 | 未注明来源行日期;含义未明确 · ExploitGym website · 执行方: 未注明 |
评估出处
相关研究问题
参考文献
- [1] Z.ai release notes ; GLM-5.2 entry dated 2026-06-16
- [2] GLM-5.2 model card ; Parameter counts not disclosed in reviewed developer source
- [3] OpenAI — introducing gpt 5 5 ; Publication date and availability section; Parameter counts not disclosed in launch article
- [4] Introducing Claude Opus 4.7 — Anthropic ; Publication date and availability section; Official launch article; parameter counts not disclosed
- [5] OpenAI — introducing gpt 5 4 ; Publication date and availability section; Parameter counts not disclosed in launch article
- [6] Claude Opus 4.6 — Anthropic ; Publication date and availability section; Official launch article; parameter counts not disclosed
- [7] Gemini 3.1 Pro: Announcing our latest Gemini AI model ; Publication date and availability section; Official launch article; parameter counts not disclosed
- [8] Introducing Claude Opus 4.8 — Anthropic ; Publication date and availability section; Official launch article; parameter counts not disclosed
- [9] ExploitGym official leaderboard and benchmark page ; /results/0/on_target; /results/0/subRows/0/on_target; /results/1/on_target
- [10] Zhun Wang, Nico Schiller 等. ExploitGym: Can AI Agents Turn Security Vulnerabilities into Real Attacks?. 2026-05-13
- [11] Zhun Wang, Nico Schiller 等. ExploitGym: Can AI Agents Turn Security Vulnerabilities into Real Attacks?. 2026-05-13 ; Author affiliations on the original paper title page; Figure 1