白泽(Whitzard)女娲实验室 ↗
NUWANUWA INDEX

搜索 NUWA Index

研究 · 测量协议 · 评测结果 · 观点

English
← NUWA Index

评测档案

ExploitGym

在真实软件目标上评测利用构造,并核查成功是否依赖指定漏洞。

来源与出处 ↓ 阅读研究记录 →

跨报告监测

已发表证据

ExploitGym · 指定目标成功数

跨来源报告的已发表测量。任务范围通过注释区分,配置差异保留在每条观测中。

20 条观测 · 10 已定位日期

● 条件匹配◇ 配置差异□ 部分条件未披露
指定目标成功数 (count) GPT-5.6 Sol (reasoning max) · Codex CLI GPT-5.6 Sol (reasoning max) [1] Claude Mythos 5 Claude Mythos 5 [3] GPT-5.6 Sol (reasoning max) · Codex CLI [1] Claude Opus 5 Claude Opus 5 [3] Claude Mythos 5 [3] Claude Opus 5 [3] GLM-5.3 · Claude Code GLM-5.3 [3] GPT-5.5 (OpenAI's default safety filters block all GPT-5.5 exploit attempts under default prompting.) · Codex CLI [1] Claude Opus 4.8 Claude Opus 4.8 [3] GLM-5.3 · Claude Code [3] Claude Opus 4.8 [3] GLM-5.2 · DoGNAVY [3] 0 50 100 150 200 250 300 293 count 247 count 216 count 191 count 181 count 171 count 130 count 129 count 120 count 105 count 80 count 79 count
  1. v1
  2. v0
  3. Version not specified

10 条观测尚无已核实的模型发布日期,可在数据与系统结果中查看。

选择图中数据点或表格行,查看条件与出处。

20 条观测

测量值与来源条件
系统/模型结果条件状态任务/条件评测方/报告日期
GPT-5.6 Sol (reasoning max) · Codex CLI293 count指定目标成功数条件不完整v1on_target6h timeoutCodex CLI未披露ExploitGym official leaderboard and benchmark page发布 —报告 —
Claude Mythos 5247 count指定目标成功数条件不完整Version not specifiedon_target6h timeout—未披露ExploitGym official leaderboard and benchmark page发布 —报告 —
GPT-5.6 Sol (reasoning max) · Codex CLI216 count指定目标成功数条件不完整v1on_target2h timeout cutoffCodex CLI未披露ExploitGym official leaderboard and benchmark page发布 —报告 —
Claude Opus 5191 count指定目标成功数条件不完整Version not specifiedon_target6h timeout—未披露ExploitGym official leaderboard and benchmark page发布 —报告 —
Claude Mythos 5181 count指定目标成功数条件不完整Version not specifiedon_target2h timeout cutoff—未披露ExploitGym official leaderboard and benchmark page发布 —报告 —
Claude Opus 5171 count指定目标成功数条件不完整Version not specifiedon_target2h timeout cutoff—未披露ExploitGym official leaderboard and benchmark page发布 —报告 —
GLM-5.3 · Claude Code130 count指定目标成功数条件不完整Version not specifiedon_targetrescaled 6h timeoutClaude Code未披露ExploitGym official leaderboard and benchmark page发布 —报告 —
GPT-5.5 (OpenAI's default safety filters block all GPT-5.5 exploit attempts under default prompting.) · Codex CLIGPT-5.5129 count指定目标成功数条件不完整v1on_target2h timeoutCodex CLI未披露ExploitGym official leaderboard and benchmark page发布 2026-04-23报告 —
Claude Opus 4.8120 count指定目标成功数条件不完整Version not specifiedon_target6h timeout—未披露ExploitGym official leaderboard and benchmark page发布 2026-05-28报告 —
GLM-5.3 · Claude Code105 count指定目标成功数条件不完整Version not specifiedon_targetrescaled 2h timeoutClaude Code未披露ExploitGym official leaderboard and benchmark page发布 —报告 —
Claude Opus 4.880 count指定目标成功数条件不完整Version not specifiedon_target2h timeout cutoff—未披露ExploitGym official leaderboard and benchmark page发布 2026-05-28报告 —
GLM-5.2 · DoGNAVYGLM-5.279 count指定目标成功数条件不完整Version not specifiedon_targetselected subsetDoGNAVY未披露ExploitGym official leaderboard and benchmark page发布 2026-06-16报告 —
GPT-5.4 · Codex CLIGPT-5.461 count指定目标成功数条件不完整v1on_target2h timeoutCodex CLI未披露ExploitGym official leaderboard and benchmark page发布 2026-03-05报告 —
GLM-5.2 · Claude CodeGLM-5.239 count指定目标成功数条件不完整Version not specifiedon_targetrescaled 6h timeoutClaude Code未披露ExploitGym official leaderboard and benchmark page发布 2026-06-16报告 —
GLM-5.2 · Claude CodeGLM-5.229 count指定目标成功数条件不完整Version not specifiedon_targetrescaled 2h timeoutClaude Code未披露ExploitGym official leaderboard and benchmark page发布 2026-06-16报告 —
Claude Opus 4.6 (Results obtained in collaboration with Anthropic.) · Claude CodeClaude Opus 4.616 count指定目标成功数条件不完整v1on_target2h timeoutClaude Code未披露ExploitGym official leaderboard and benchmark page发布 2026-02-05报告 —
Claude Opus 4.7 · Claude CodeClaude Opus 4.712 count指定目标成功数条件不完整v1on_target2h timeoutClaude Code未披露ExploitGym official leaderboard and benchmark page发布 2026-04-16报告 —
Gemini 3.1 Pro · Gemini CLIGemini 3.1 Pro12 count指定目标成功数条件不完整v0on_target2h timeoutGemini CLI未披露ExploitGym official leaderboard and benchmark page发布 2026-02-19报告 —
Muse Spark 1.1 (helpful-only versoin) · Meta Agent (off-the-shelf agent harness)7 count指定目标成功数条件不完整v1on_target4h timeoutMeta Agent (off-the-shelf agent harness)未披露ExploitGym official leaderboard and benchmark page发布 —报告 —
GLM-5.1 · Claude Code4 count指定目标成功数条件不完整v1on_target2h timeoutClaude Code未披露ExploitGym official leaderboard and benchmark page发布 —报告 —

任务与测量

Benchmark 协议档案

任务/对象
原任务配置下的模型或智能体系统
测量目标
在真实软件目标上评测利用构造,并核查成功是否依赖指定漏洞。
评分/结果口径
指定目标成功数 · 记录配置下的来源报告指标。
解释边界
性能判断须同时说明目标防护、已提供材料和漏洞归因。

一项已报告评测

来源评测 GPT-5.6 Sol (reasoning max) · Codex CLI · v1.

运行配置: Codex CLI · 6h timeout.

报告指标: 指定目标成功数 · 293 count.

记录配置下的来源报告指标。 原文未披露本结果的样本量

指定目标成功数:293 count;保留来源条件。

测量档案 · NUWA 解读

档案区分来源方法阅读与既有目录信息;已经公开不代表完成独立证据复核或双语编辑复核。

测量构念
智能体能否跨系统将给定漏洞触发扩展为具体安全影响?
任务与样本
898例覆盖用户态、V8和Linux,采用可复现容器、不同防护与时间成本受限尝试。
判分与失效情形
成功标志与预期漏洞归因分别报告。
系统条件
898例,用户态V8Linux保护变体及时间成本受限尝试。
统计含义
来源报告的结果表述;这不等同于已确定运行次数、分母或估计方法: GPT-5.5和Mythos Preview成功例仅56.7%、69.5%符合预期归因(§4)。
效度与解释
并非每题都有真实利用解;拒绝、工具故障和不可解任务均可能降低成功率(§5)。
适用研究问题
模型建议:原始成功率旁保留归因审计、防护设置与尝试预算。

跨报告证据

相同 Benchmark 名称可能对应不同任务、计分规则和系统配置。各来源分别保留,比较组说明具体对齐了哪些条件。

ExploitGym website

ExploitGym official leaderboard and benchmark page →

实际评测方: 未披露

21 条结果记录 · 14 个报告系统名称

协议与比较依据 (12)
原始来源图表与材料

评测结果

数据报告方: ExploitGym website · 实际执行方: 各提交的执行方未完整确定 · 抓取时间: 2026-10-26

指定目标成功与 Flag 获取是不同的计数。任务版本和超时截点分别保留,不将目录总任务数视为各提交的分母。

图表按来源顺序展示 8/8 个系统

指定目标成功数 · v1

  1. Codex CLI · 6h timeout
  2. Codex CLI · 2h timeout cutoff
  3. Meta Agent (off-the-shelf agent harness) · 4h timeout
  4. Codex CLI · 2h timeout
  5. Codex CLI · 2h timeout
  6. Claude Code · 2h timeout
  7. Claude Code · 2h timeout
  8. Claude Code · 2h timeout
来源报告的系统及评测条件
系统结果任务集/模式运行配置日期/归属
GPT-5.6 Sol (reasoning max) · Codex CLI293 countv1on_targetCodex CLI6h timeout · ? 次尝试2026-07-13来源行日期;含义未明确 · ExploitGym website · 执行方: 未注明
GPT-5.6 Sol (reasoning max) · Codex CLI216 countv1on_targetCodex CLI2h timeout cutoff · ? 次尝试未注明来源行日期;含义未明确 · ExploitGym website · 执行方: 未注明
Muse Spark 1.1 (helpful-only versoin) · Meta Agent (off-the-shelf agent harness)7 countv1on_targetMeta Agent (off-the-shelf agent harness)4h timeout · ? 次尝试2026-07-09来源行日期;含义未明确 · ExploitGym website · 执行方: 未注明
GPT-5.5 (OpenAI's default safety filters block all GPT-5.5 exploit attempts under default prompting.) · Codex CLI129 countv1on_targetCodex CLI2h timeout · ? 次尝试2026-06-16来源行日期;含义未明确 · ExploitGym website · 执行方: 未注明
GPT-5.5 (OpenAI's default safety filters block all GPT-5.5 exploit attempts under default prompting.) · Codex CLI208 countv1flag_capturedCodex CLI2h timeout · ? 次尝试2026-06-16来源行日期;含义未明确 · ExploitGym website · 执行方: 未注明
GPT-5.4 · Codex CLI61 countv1on_targetCodex CLI2h timeout · ? 次尝试2026-06-16来源行日期;含义未明确 · ExploitGym website · 执行方: 未注明
Claude Opus 4.6 (Results obtained in collaboration with Anthropic.) · Claude Code16 countv1on_targetClaude Code2h timeout · ? 次尝试2026-06-16来源行日期;含义未明确 · ExploitGym website · 执行方: 未注明
Gemini 3.1 Pro · Gemini CLI12 countv0on_targetGemini CLI2h timeout · ? 次尝试2026-05-13来源行日期;含义未明确 · ExploitGym website · 执行方: 未注明
Claude Opus 4.7 · Claude Code12 countv1on_targetClaude Code2h timeout · ? 次尝试2026-06-16来源行日期;含义未明确 · ExploitGym website · 执行方: 未注明
GLM-5.1 · Claude Code4 countv1on_targetClaude Code2h timeout · ? 次尝试2026-06-16来源行日期;含义未明确 · ExploitGym website · 执行方: 未注明
Claude Mythos 5247 countVersion not specifiedon_target未注明6h timeout · ? 次尝试2026-06-09来源行日期;含义未明确 · ExploitGym website · 执行方: 未注明
Claude Mythos 5181 countVersion not specifiedon_target未注明2h timeout cutoff · ? 次尝试未注明来源行日期;含义未明确 · ExploitGym website · 执行方: 未注明
Claude Opus 5191 countVersion not specifiedon_target未注明6h timeout · ? 次尝试2026-07-24来源行日期;含义未明确 · ExploitGym website · 执行方: 未注明
Claude Opus 5171 countVersion not specifiedon_target未注明2h timeout cutoff · ? 次尝试未注明来源行日期;含义未明确 · ExploitGym website · 执行方: 未注明
Claude Opus 4.8120 countVersion not specifiedon_target未注明6h timeout · ? 次尝试2026-05-28来源行日期;含义未明确 · ExploitGym website · 执行方: 未注明
Claude Opus 4.880 countVersion not specifiedon_target未注明2h timeout cutoff · ? 次尝试未注明来源行日期;含义未明确 · ExploitGym website · 执行方: 未注明
GLM-5.2 · DoGNAVY79 countVersion not specifiedon_targetDoGNAVYselected subset · ? 次尝试2026-08-22来源行日期;含义未明确 · ExploitGym website · 执行方: 未注明
GLM-5.3 · Claude Code130 countVersion not specifiedon_targetClaude Coderescaled 6h timeout · ? 次尝试2026-08-18来源行日期;含义未明确 · ExploitGym website · 执行方: 未注明
GLM-5.3 · Claude Code105 countVersion not specifiedon_targetClaude Coderescaled 2h timeout · ? 次尝试未注明来源行日期;含义未明确 · ExploitGym website · 执行方: 未注明
GLM-5.2 · Claude Code39 countVersion not specifiedon_targetClaude Coderescaled 6h timeout · ? 次尝试2026-08-18来源行日期;含义未明确 · ExploitGym website · 执行方: 未注明
GLM-5.2 · Claude Code29 countVersion not specifiedon_targetClaude Coderescaled 2h timeout · ? 次尝试未注明来源行日期;含义未明确 · ExploitGym website · 执行方: 未注明

版本与提取范围 →

评估出处

ExploitGym official snapshot → · 外部报告

相关研究问题

参考文献

  1. [1] Z.ai release notes ; GLM-5.2 entry dated 2026-06-16
  2. [2] GLM-5.2 model card ; Parameter counts not disclosed in reviewed developer source
  3. [3] OpenAI — introducing gpt 5 5 ; Publication date and availability section; Parameter counts not disclosed in launch article
  4. [4] Introducing Claude Opus 4.7 — Anthropic ; Publication date and availability section; Official launch article; parameter counts not disclosed
  5. [5] OpenAI — introducing gpt 5 4 ; Publication date and availability section; Parameter counts not disclosed in launch article
  6. [6] Claude Opus 4.6 — Anthropic ; Publication date and availability section; Official launch article; parameter counts not disclosed
  7. [7] Gemini 3.1 Pro: Announcing our latest Gemini AI model ; Publication date and availability section; Official launch article; parameter counts not disclosed
  8. [8] Introducing Claude Opus 4.8 — Anthropic ; Publication date and availability section; Official launch article; parameter counts not disclosed
  9. [9] ExploitGym official leaderboard and benchmark page ; /results/0/on_target; /results/0/subRows/0/on_target; /results/1/on_target
  10. [10] Zhun Wang, Nico Schiller 等. ExploitGym: Can AI Agents Turn Security Vulnerabilities into Real Attacks?. 2026-05-13
  11. [11] Zhun Wang, Nico Schiller 等. ExploitGym: Can AI Agents Turn Security Vulnerabilities into Real Attacks?. 2026-05-13 ; Author affiliations on the original paper title page; Figure 1