NUWA 评测档案
CyberGym
真实软件项目中的漏洞复现。
研究问题
CyberGym 研究智能体能否依据漏洞说明和软件项目，构造实际触发目标缺陷的输入。评测通过程序执行核验结果，使“解释漏洞”和“证明漏洞可复现”成为可区分的表现。
代表案例：文件解析任务
原文附录 F 比较了多个智能体处理文件格式任务的过程。一个运行修改项目已有的测试文件并触发目标故障；其他运行虽然完成构建或生成候选输入，仍未复现漏洞。原始轨迹见论文附录 F。
案例的价值在于区分寻找文件、构建项目、构造输入等中间进展与评测器确认的最终结果。合理的分析文字本身不能代替有效复现。
任务与评分
任务提供受控软件环境。智能体分析项目、提交候选输入，由实际执行判断是否触发目标漏洞。输入信息的丰富程度及资源预算会改变所测任务。
结果解读
复现率需要结合 Harness、信息级别和预算阅读。该指标测量漏洞复现能力，不能直接解释为对部署组织的端到端入侵能力。
跨报告监测
已发表证据
CyberGym · 漏洞复现率
跨来源报告的已发表测量。任务范围通过注释区分，配置差异保留在每条观测中。
105 条观测 · 43 已定位日期
● 条件匹配◇ 配置差异□ 部分条件未披露
- CyberGym Level 1 hard-task matched subset
- CyberGym hard subset with token budgets
- level1
- level0
- level2
- level3
62 条观测尚无已核实的模型发布日期，可在数据与系统结果中查看。
选择图中数据点或表格行，查看条件与出处。
105 条观测
| 系统／模型 | 结果 | 条件状态 | 任务／条件 | 评测方／报告 | 日期 |
|---|---|---|---|---|---|
  Multi-model (DeepSeek-V4.1-Flash, Abliterated GLM-5.2) · Lyrie Agent | 99.2%成功率 | 条件不完整 | level1score_10Lyrie Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
 Multi-model (Creation Model, DeepSeek-V4-Pro, Qwen 3.8 Max) · Creation \(天工\) | 98.5%成功率 | 条件不完整 | level1score_10Creation \(天工\) | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| Multi-model (DeepSeek-V4-Flash, OrcaCyber-Zero-1.0) · OrcaCyber | 98%成功率 | 条件不完整 | level1score_10OrcaCyber | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| DeepSeek-V4.1-Flash · RO0T Agent | 97.7%成功率 | 条件不完整 | level1score_10RO0T Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| GLM-5.3 · Sangfor AI | 97.2%成功率 | 条件不完整 | level1score_10Sangfor AI | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| DeepSeek-V4-Flash · Ostorlab NeutronDeepSeek-V4-Flash | 97.1%成功率 | 条件不完整 | level1score_10Ostorlab Neutron | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-04-24报告 — |
| DeepSeek-V4-Flash · VARAS-OneMind \(智安·宇盾\)DeepSeek-V4-Flash | 97%成功率 | 条件不完整 | level1score_10VARAS-OneMind \(智安·宇盾\) | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-04-24报告 — |
| GLM-5.3 · Alipay AI4SDL | 96.8%成功率 | 条件不完整 | level1score_10Alipay AI4SDL | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| Multi-model (DeepSeek-V4-Flash, GLM-5.2, GLM-5.3, GLM-5.3-Flash) · NPC Agent System | 96.7%成功率 | 条件不完整 | level1score_10NPC Agent System | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| Hero (finetuned from GLM-5.2) · Hero Agent | 96.6%成功率 | 条件不完整 | level1score_10Hero Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| DeepSeek-V4-Pro · Panshi \(磐石\)DeepSeek V4 Pro | 95.4%成功率 | 条件不完整 | level1score_10Panshi \(磐石\) | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-04-24报告 — |
| Multi-model (DeepSeek-V4-Pro, Creation Model, Qwen 3.8 Max) · Creation \(天工\) | 95.3%成功率 | 条件不完整 | level1score_10Creation \(天工\) | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| GLM-5.3 · DoGNAVY | 95%成功率 | 条件不完整 | level1score_10DoGNAVY | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| Multi-model (DeepSeek-V4-Flash, DeepSeek-V4.1-Flash, GLM-5.3, GLM-5.3-Flash) · ai-deep-audit | 94.2%成功率 | 条件不完整 | level1score_10ai-deep-audit | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| DeepSeek-V4-Flash · RO0T AgentDeepSeek-V4-Flash | 94.2%成功率 | 条件不完整 | level1score_10RO0T Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-04-24报告 — |
| DeepSeek-V4-Flash · Sangfor AIDeepSeek-V4-Flash | 93.2%成功率 | 条件不完整 | level1score_10Sangfor AI | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-04-24报告 — |
| DeepSeek-V4-Flash · PwnBotDeepSeek-V4-Flash | 93.1%成功率 | 条件不完整 | level1score_10PwnBot | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-04-24报告 — |
| DeepSeek-V4.1-Flash · AiPy Mini | 92.8%成功率 | 条件不完整 | level1score_10AiPy Mini | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| Multi-model (DeepSeek-V4-Flash, GLM-5.2) · Ji Realm \(极境\) | 92.4%成功率 | 条件不完整 | level1score_10Ji Realm \(极境\) | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| JT236B · JiuXuan \(九玄\) | 92.3%成功率 | 条件不完整 | level1score_10JiuXuan \(九玄\) | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| Qwen-Internal · Spur | 91.8%成功率 | 条件不完整 | level1score_10Spur | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| DeepSeek-V4-Flash · NASHDeepSeek-V4-Flash | 91.4%成功率 | 条件不完整 | level1score_10NASH | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-04-24报告 — |
 Multi-model (Grok 4.5, Grok 4.6) · Gcsa Agent | 91.3%成功率 | 条件不完整 | level1score_10Gcsa Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| DeepSeek-V4-Flash · FangcunCyberDeepSeek-V4-Flash | 91.3%成功率 | 条件不完整 | level1score_10FangcunCyber | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-04-24报告 — |
| DeepSeek-V4-Flash · Whitzard \(白泽\)DeepSeek-V4-Flash | 91.2%成功率 | 条件不完整 | level1score_10Whitzard \(白泽\) | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-04-24报告 — |
 Claude Opus 4.6 · mnemeClaude Opus 4.6 | 91%成功率 | 条件不完整 | level1score_10mneme | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-02-05报告 — |
 Multi-model (GPT-5.4, Claude Opus 4.6, Claude Sonnet 4.6) · MDASH | 91%成功率 | 条件不完整 | level1score_10MDASH | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| Multi-model (GPT-5.5, Claude Opus 4.6) · Wiz Atlas | 90.9%成功率 | 条件不完整 | level1score_10Wiz Atlas | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| GLM-5.2 · DoGNAVYGLM-5.2 | 90.8%成功率 | 条件不完整 | level1score_10DoGNAVY | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-06-16报告 — |
| DeepSeek-V4-Pro · HiAUDIT AgentDeepSeek V4 Pro | 90.6%成功率 | 条件不完整 | level1score_10HiAUDIT Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-04-24报告 — |
| Claude Opus 4.6 · CrystallineClaude Opus 4.6 | 89.6%成功率 | 条件不完整 | level1score_10Crystalline | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-02-05报告 — |
| DeepSeek-V4-Flash · TriLaneDeepSeek-V4-Flash | 88.9%成功率 | 条件不完整 | level1score_10TriLane | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-04-24报告 — |
| XekRung-1.5-27B-Preview (finetuned from Qwen3.8-27B) · XekRung Agent | 88.9%成功率 | 条件不完整 | level1score_10XekRung Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| Multi-model (GPT-5.4, Claude Opus 4.6, Claude Sonnet 4.6) · MDASH | 88.4%成功率 | 条件不完整 | level1score_10MDASH | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| GPT-5.5 | 88.12%CyberGym pass@1 | 条件不完整 | CyberGym Level 1 hard-task matched subsetCyberGym pass@150M tokens per task— | Lyptus ResearchGLM-5.2 Risk Evaluation Report | 发布 2026-04-23报告 2026-08-02 |
| DeepSeek-V4-Flash · GusionDeepSeek-V4-Flash | 87.1%成功率 | 条件不完整 | level1score_10Gusion | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-04-24报告 — |
 Gemini 3.8 Flash Cyber · Google Antigravity | 86.3%成功率 | 条件不完整 | level1score_10Google Antigravity | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| GLM-5.2 · RedbudAIGLM-5.2 | 86.3%成功率 | 条件不完整 | level1score_10RedbudAI | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-06-16报告 — |
| GLM-5.2 · Sangfor AIGLM-5.2 | 86.3%成功率 | 条件不完整 | level1score_10Sangfor AI | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-06-16报告 — |
| Multi-model (MAI-Cyber-1-Flash, GPT-5.4, Claude Opus 4.6) · MDASH | 86.3%成功率 | 条件不完整 | level1score_10MDASH | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| ASL-Cyber-Flash (finetuned from DeepSeek-V4-Flash) · Claude Code | 85.9%成功率 | 条件不完整 | level1score_10Claude Code | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| GPT-5.5-Cyber · OpenAI Agent | 85.6%成功率 | 条件不完整 | level1score_10OpenAI Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| XekRung · Velldepth Agent | 85.3%成功率 | 条件不完整 | level1score_10Velldepth Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| GLM-5.2 · Xuanwu Atuin AIGLM-5.2 | 84.8%成功率 | 条件不完整 | level1score_10Xuanwu Atuin AI | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-06-16报告 — |
| GLM-5.3 · Claude Code | 84.5%成功率 | 条件不完整 | level1score_10Claude Code | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| Feyospace-v1.1 (finetuned from Qwen3.8-27B) · Claude Code | 84.4%成功率 | 条件不完整 | level1score_10Claude Code | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| GLM-5.1 · Xuanwu Atuin AI | 84%成功率 | 条件不完整 | level1score_10Xuanwu Atuin AI | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| DeepSeek-V4-Pro · DeepSeek AgentDeepSeek V4 Pro | 83.3%成功率 | 条件不完整 | level1score_10DeepSeek Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-04-24报告 — |
| Claude Mythos Preview · Anthropic AgentClaude Mythos Preview | 83.1%成功率 | 条件不完整 | level1score_10Anthropic Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| GPT-5.5 · OpenAI AgentGPT-5.5 | 81.8%成功率 | 条件不完整 | level1score_10OpenAI Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-04-23报告 — |
| Basin (basin1-0912-pre-dpo) · Codex CLI | 80%成功率 | 条件不完整 | level1score_10Codex CLI | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| Grok 4.6 · Grok Build | 79.7%成功率 | 条件不完整 | level1score_10Grok Build | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| Grok 4.5 · Grok Build | 79%成功率 | 条件不完整 | level1score_10Grok Build | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| GPT-5.4 · OpenAI AgentGPT-5.4 | 79%成功率 | 条件不完整 | level1score_10OpenAI Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-03-05报告 — |
| DeepSeek-V4-Flash · DeepSeek AgentDeepSeek-V4-Flash | 76.7%成功率 | 条件不完整 | level1score_10DeepSeek Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-04-24报告 — |
| GLM-5.2 | 76.24%CyberGym pass@1 | 条件不完整 | CyberGym Level 1 hard-task matched subsetprovider-default reasoning50M tokens per taskInspect Evals | SaferAIGLM-5.2 Risk Evaluation Report | 发布 2026-06-16报告 2026-08-02 |
| GPT-5.4 · VARAS-OneMind \(智安·宇盾\)GPT-5.4 | 73.8%成功率 | 条件不完整 | level1score_10VARAS-OneMind \(智安·宇盾\) | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-03-05报告 — |
 MiniMax M3 · MopMonk Agent | 73.1%成功率 | 条件不完整 | level1score_10MopMonk Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| GLM-5.1 · JiuXuan \(九玄\) | 72.9%成功率 | 条件不完整 | level1score_10JiuXuan \(九玄\) | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| GLM-5.1-FP8 · Whitzard \(白泽\) | 68.9%成功率 | 条件不完整 | level1score_10Whitzard \(白泽\) | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| GLM-5.1 · Claude Code | 68.7%成功率 | 条件不完整 | level1score_10Claude Code | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| Claude Sonnet 4.5 · Anthropic Agent | 66.7%成功率 | 条件不完整 | level1score_10Anthropic Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| Claude Opus 4.6 · Anthropic AgentClaude Opus 4.6 | 66.6%成功率 | 条件不完整 | level1score_10Anthropic Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-02-05报告 — |
| GPT-5.4 · Codex CLIGPT-5.4 | 66.3%成功率 | 条件不完整 | level1score_10Codex CLI | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-03-05报告 — |
| Claude Sonnet 4.6 · Anthropic AgentClaude Sonnet 4.6 | 65.2%成功率 | 条件不完整 | level1score_10Anthropic Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-02-17报告 — |
| DeepSeek-V4-Pro Preview · XD Agent | 64.1%成功率 | 条件不完整 | level1score_10XD Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| GLM-5.2 | 63.37%CyberGym pass@1 | 条件不完整 | CyberGym Level 1 hard-task matched subsetprovider-default reasoning10M tokens per taskInspect Evals | SaferAIGLM-5.2 Risk Evaluation Report | 发布 2026-06-16报告 2026-08-02 |
| Feyospace-v1 · Claude Code | 63%成功率 | 条件不完整 | level1score_10Claude Code | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| Claude Opus 4.1 · Anthropic AgentClaude Opus 4.1 | 61.3%成功率 | 条件不完整 | level1score_10Anthropic Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2025-08-05报告 — |
| GPT-5 · SageAgentGPT-5 | 60.2%成功率 | 条件不完整 | level1score_10SageAgent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2025-08-07报告 — |
| Claude Sonnet 4 · Anthropic Agent | 59.5%成功率 | 条件不完整 | level1score_10Anthropic Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
 Muse Spark 1.1 (helpful-only) · Meta Agent | 59%成功率 | 条件不完整 | level1score_10Meta Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| DeepSeek-V4-Pro Preview · Claude Code | 57.7%成功率 | 条件不完整 | level1score_10Claude Code | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| GPT-5.5 | 55.45%CyberGym pass@1 | 条件不完整 | CyberGym Level 1 hard-task matched subsetCyberGym pass@12M tokens per task— | Lyptus ResearchGLM-5.2 Risk Evaluation Report | 发布 2026-04-23报告 2026-08-02 |
| Feyospace-v0 · Claude Code | 51.2%成功率 | 条件不完整 | level1score_10Claude Code | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| Claude Opus 4.5 · Anthropic AgentClaude Opus 4.5 | 50.6%成功率 | 条件不完整 | level1score_10Anthropic Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2025-11-24报告 — |
| Claude Sonnet 3.7 · Anthropic AgentClaude 3.7 Sonnet | 47.2%成功率 | 条件不完整 | level1score_10Anthropic Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2025-02-24报告 — |
| Claude Opus 4.6 | 44.55%CyberGym pass@1 | 条件不完整 | CyberGym Level 1 hard-task matched subsetCyberGym pass@12M tokens per task— | Lyptus ResearchGLM-5.2 Risk Evaluation Report | 发布 2026-02-05报告 2026-08-02 |
| Muse Spark · Meta AgentMuse Spark | 43.5%成功率 | 条件不完整 | level1score_10Meta Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-04-08报告 — |
| GLM-5 · Claude CodeGLM-5 | 43.2%成功率 | 条件不完整 | level1score_10Claude Code | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-02-12报告 — |
 Kimi K2.5 · Kimi Agent | 41.3%成功率 | 条件不完整 | level1score_10Kimi Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| GPT-5 · OpenHandsGPT-5 | 39.4%成功率 | 条件不完整 | level1score_10OpenHands | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2025-08-07报告 — |
| Gemini 3.1 Pro · Gemini CLIGemini 3.1 Pro | 38.8%成功率 | 条件不完整 | level1score_10Gemini CLI | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-02-19报告 — |
| GLM-5.2 | 36.63%CyberGym pass@1 | 条件不完整 | CyberGym Level 1 hard-task matched subsetprovider-default reasoning2M tokens per taskInspect Evals | SaferAIGLM-5.2 Risk Evaluation Report | 发布 2026-06-16报告 2026-08-02 |
| Claude Sonnet 4.5 · Anthropic Agent | 28.9%成功率 | 条件不完整 | level1score_10Anthropic Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| Claude Opus 4.1 · Anthropic AgentClaude Opus 4.1 | 25%成功率 | 条件不完整 | level1score_10Anthropic Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2025-08-05报告 — |
| GLM-4.7 · Claude Code | 23.5%成功率 | 条件不完整 | level1score_10Claude Code | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| Claude Sonnet 4 · Anthropic Agent | 22.6%成功率 | 条件不完整 | level1score_10Anthropic Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| Claude Sonnet 4 · OpenHands | 17.9%成功率 | 条件不完整 | level1score_10OpenHands | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| GPT-4.1 · OpenHands | 17.1%成功率 | 条件不完整 | level3score_10OpenHands | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| Claude Sonnet 3.7 · Anthropic AgentClaude 3.7 Sonnet | 14.5%成功率 | 条件不完整 | level1score_10Anthropic Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2025-02-24报告 — |
| GPT-4.1 · OpenHands | 13.1%成功率 | 条件不完整 | level2score_10OpenHands | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| Claude Sonnet 3.7 · OpenHandsClaude 3.7 Sonnet | 11.9%成功率 | 条件不完整 | level1score_10OpenHands | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2025-02-24报告 — |
| GPT-4.1 · OpenHands | 9.4%成功率 | 条件不完整 | level1score_10OpenHands | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| GPT-4.1 · Cybench | 9%成功率 | 条件不完整 | level1score_10Cybench | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| GPT-4.1 · Codex CLI | 7.4%成功率 | 条件不完整 | level1score_10Codex CLI | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| GPT-4.1 · ENiGMA | 7.2%成功率 | 条件不完整 | level1score_10ENiGMA | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| Gemini 2.5 Flash Preview · OpenHands | 4.8%成功率 | 条件不完整 | level1score_10OpenHands | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| DeepSeek-V3 · OpenHands | 3.6%成功率 | 条件不完整 | level1score_10OpenHands | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| GPT-4.1 · OpenHands | 3.5%成功率 | 条件不完整 | level0score_10OpenHands | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| o4-mini · OpenHands | 2.5%成功率 | 条件不完整 | level1score_10OpenHands | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| R2E-Gym-32B · OpenHands | 2%成功率 | 条件不完整 | level1score_10OpenHands | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| Qwen3-235B-A22B · OpenHands | 1.9%成功率 | 条件不完整 | level1score_10OpenHands | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| OpenHands-LM-32B · OpenHands | 1.7%成功率 | 条件不完整 | level1score_10OpenHands | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| SWE-Gym-32B · OpenHands | 0.1%成功率 | 条件不完整 | level1score_10OpenHands | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
结合任务范围与运行配置解读结果。
METR Time Horizon 1.1 来源已停止积极更新，最后更新于 2026 年 9 月 8 日。超过 16 小时的估计超出其可靠测量范围。
协议、配置与原始证据 →NUWA ANALYSIS · 2026-10-27 · 模型辅助分析 · 独立复核待完成
推理预算改变可观察的网络能力
SaferAI 将 CyberGym 定义为漏洞复现，并按 Lyptus 方法选择 Level 1 困难任务：从 122 项样本中保留具有比较数据的 101 项。来源正文报告 GLM-5.2 成功率从 2M token 时的 36.6% 升至 50M 时的 76.2%，条件记录保留各自印出的精度。GLM 运行由 SaferAI 执行，GPT-5.5 与 Opus 4.6 比较值由 Lyptus 数据计算。任务身份相同不能消除执行差异，Wilson 区间重叠也不能证明等效。
Take-away
监测模型能力时应同时追踪任务范围与推理资源；更高的观测结果可能来自预算、Harness 或模型本身的变化。
来源报告 95% Wilson 区间存在重叠；图中未印出精确端点，因此不转录端点。本图是任务匹配的描述性比较，不构成严格条件匹配的模型排名。
先解析不同报告的协议字段；核实模型身份、任务版本、尝试次数、脚手架和预算后，再开展条件匹配比较。
任务与测量
Benchmark 协议档案
- 任务／对象
- 复现历史漏洞的 AI 智能体
- 测量目标
- 历史漏洞集合中的经验证复现表现。
- 评分／结果口径
- Reproduction at 2M tokens · 历史漏洞集合中的经验证复现表现。
- 解释边界
- 漏洞复现的范围小于对部署系统的自主入侵。
测量档案 · NUWA 解读
档案区分来源方法阅读与既有目录信息；已经公开不代表完成独立证据复核或双语编辑复核。
- 测量构念
- 智能体能否规模化复现历史真实漏洞？提供的信息、模型和智能体配置如何改变这一能力？
- 任务与样本
- 历史 OSS-Fuzz 案例经描述质量、可复现性及去重过滤。智能体获得代码与可执行文件，提交候选输入并利用执行反馈迭代。主要难度提供漏洞描述，其他难度去除描述或增加栈轨迹和补丁。范围主要是 C/C++ 项目中可由 sanitizer 检出的内存安全问题。
- 判分与失效情形
- 成功须同时满足漏洞版本触发 sanitizer 错误、修复版本不触发 sanitizer 错误。成功率的分母是实际评测实例；困难子集、随机子集与全集不同。过程反馈不能等同于最终验收。
- 系统条件
- 历史 OSS-Fuzz 案例经描述质量、可复现性及去重过滤。智能体获得代码与可执行文件，提交候选输入并利用执行反馈迭代。主要难度提供漏洞描述，其他难度去除描述或增加栈轨迹和补丁。范围主要是 C/C++ 项目中可由 sanitizer 检出的内存安全问题。
- 统计含义
- §4 表 2 保留截止日期分组的成功分子、分母及 Fisher 精确检验、双比例 Z 检验；不显著不等于等效，其他区间需随各来源记录保留。
- 效度与解释
- 覆盖偏向 sanitizer 可见的内存安全与可得的 OSS-Fuzz/ARVO 数据。描述过滤及改写使用模型，并以抽样人工检查评估质量。公开代码和报告带来污染不确定性，更多提示会改变任务；后续报告改变预算或脚手架不能视为仅模型变化的受控提升。
- 适用研究问题
- 模型建议：同时保留漏洞触发与修复干净验收，标明任务子集、信息难度、预算和智能体设置。
- CyberGym: Evaluating AI Agents’ Real-World Cybersecurity Capabilities at Scale · §3.1 Scope, Rationale, and LimitationsarXiv:2506.02548v3
- CyberGym: Evaluating AI Agents’ Real-World Cybersecurity Capabilities at Scale · §3.2 Task Input and Output; Execution-Based Evaluation Metrics; Different Levels of DifficultyarXiv:2506.02548v3
- CyberGym: Evaluating AI Agents’ Real-World Cybersecurity Capabilities at Scale · §3.3 Quality Assurance; Benchmark Scale and Diversity; Table 3arXiv:2506.02548v3
- CyberGym: Evaluating AI Agents’ Real-World Cybersecurity Capabilities at Scale · §4 Limited Impact of Potential Data Contamination; Table 2arXiv:2506.02548v3
- CyberGym: Evaluating AI Agents’ Real-World Cybersecurity Capabilities at Scale · §4 Richer Input Information Enhances Reproduction Effort; Figure 6arXiv:2506.02548v3
- CyberGym: Evaluating AI Agents’ Real-World Cybersecurity Capabilities at Scale · §5 From Benchmarking to Direct Security Impact; Ethics StatementarXiv:2506.02548v3
跨报告证据
相同 Benchmark 名称可能对应不同任务、计分规则和系统配置。各来源分别保留，比较组说明具体对齐了哪些条件。
SaferAI
GLM-5.2 Risk Evaluation Report →
实际评测方: SaferAI · Lyptus Research
7 条结果记录 · 3 个报告系统名称
协议与比较依据 (10)
CyberGym · 101 项共同困难任务 · 2M tokensdescriptive · 范围已审查
CyberGym hard subset with token budgets · Reproduction at 2M tokenssource-report · 范围已审查
CyberGym hard subset with token budgets · Reproduction at 50M tokenssource-report · 范围已审查
CyberGym：CyberGym pass@1 · SaferAIsource-report · 范围已审查
CyberGym：CyberGym pass@1 · SaferAIsource-report · 范围已审查
CyberGym：CyberGym pass@1 · SaferAIsource-report · 范围已审查
CyberGym：CyberGym pass@1 · SaferAIsource-report · 范围已审查
CyberGym：CyberGym pass@1 · SaferAIsource-report · 范围已审查
CyberGym：Reproduction at 2M tokens · SaferAIsource-report · 范围已审查
CyberGym：Reproduction at 50M tokens · SaferAIsource-report · 范围已审查
CyberGym website
CyberGym official leaderboard and machine-data extraction →
实际评测方: 未披露
99 条结果记录 · 91 个报告系统名称
协议与比较依据 (53)
CyberGym：成功率 · CyberGym websitesource-report · 范围已审查
CyberGym：成功率 · CyberGym websitesource-report · 范围已审查
CyberGym：成功率 · CyberGym websitesource-report · 范围已审查
CyberGym：成功率 · CyberGym websitesource-report · 范围已审查
CyberGym：成功率 · CyberGym websitesource-report · 范围已审查
CyberGym：成功率 · CyberGym websitesource-report · 范围已审查
CyberGym：成功率 · CyberGym websitesource-report · 范围已审查
CyberGym：成功率 · CyberGym websitesource-report · 范围已审查
CyberGym：成功率 · CyberGym websitesource-report · 范围已审查
CyberGym：成功率 · CyberGym websitesource-report · 范围已审查
CyberGym：成功率 · CyberGym websitesource-report · 范围已审查
CyberGym：成功率 · CyberGym websitesource-report · 范围已审查
CyberGym：成功率 · CyberGym websitesource-report · 范围已审查
CyberGym：成功率 · CyberGym websitesource-report · 范围已审查
CyberGym：成功率 · CyberGym websitesource-report · 范围已审查
CyberGym：成功率 · CyberGym websitesource-report · 范围已审查
CyberGym：成功率 · CyberGym websitesource-report · 范围已审查
CyberGym：成功率 · CyberGym websitesource-report · 范围已审查
CyberGym：成功率 · CyberGym websitesource-report · 范围已审查
CyberGym：成功率 · CyberGym websitesource-report · 范围已审查
CyberGym：成功率 · CyberGym websitesource-report · 范围已审查
CyberGym：成功率 · CyberGym websitesource-report · 范围已审查
CyberGym：成功率 · CyberGym websitesource-report · 范围已审查
CyberGym：成功率 · CyberGym websitesource-report · 范围已审查
CyberGym：成功率 · CyberGym websitesource-report · 范围已审查
CyberGym：成功率 · CyberGym websitesource-report · 范围已审查
CyberGym：成功率 · CyberGym websitesource-report · 范围已审查
CyberGym：成功率 · CyberGym websitesource-report · 范围已审查
CyberGym：成功率 · CyberGym websitesource-report · 范围已审查
CyberGym：成功率 · CyberGym websitesource-report · 范围已审查
CyberGym：成功率 · CyberGym websitesource-report · 范围已审查
CyberGym：成功率 · CyberGym websitesource-report · 范围已审查
CyberGym：成功率 · CyberGym websitesource-report · 范围已审查
CyberGym：成功率 · CyberGym websitesource-report · 范围已审查
CyberGym：成功率 · CyberGym websitesource-report · 范围已审查
CyberGym：成功率 · CyberGym websitesource-report · 范围已审查
CyberGym：成功率 · CyberGym websitesource-report · 范围已审查
CyberGym：成功率 · CyberGym websitesource-report · 范围已审查
CyberGym：成功率 · CyberGym websitesource-report · 范围已审查
CyberGym：成功率 · CyberGym websitesource-report · 范围已审查
CyberGym：成功率 · CyberGym websitesource-report · 范围已审查
CyberGym：成功率 · CyberGym websitesource-report · 范围已审查
CyberGym：成功率 · CyberGym websitesource-report · 范围已审查
CyberGym：成功率 · CyberGym websitesource-report · 范围已审查
CyberGym：成功率 · CyberGym websitesource-report · 范围已审查
CyberGym：成功率 · CyberGym websitesource-report · 范围已审查
CyberGym：成功率 · CyberGym websitesource-report · 范围已审查
CyberGym：成功率 · CyberGym websitesource-report · 范围已审查
CyberGym：成功率 · CyberGym websitesource-report · 范围已审查
CyberGym：成功率 · CyberGym websitesource-report · 范围已审查
CyberGym：成功率 · CyberGym websitesource-report · 范围已审查
CyberGym：成功率 · CyberGym websitesource-report · 范围已审查
CyberGym：成功率 · CyberGym websitesource-report · 范围已审查
Neo Research
Evaluating Kimi K3 for Misalignment Risks →
实际评测方: Neo Research
2 条结果记录 · 1 个报告系统名称
协议与比较依据 (2)
CyberGym：Tasks completed before turn limit · Neo Researchsource-report · 范围已审查
CyberGym：Vulnerabilities successfully reproduced · Neo Researchsource-report · 范围已审查
原始来源图表与材料
评测结果
筛选系统与配置
数据报告方: CyberGym website · 实际执行方: 各提交的执行方未完整确定 · 抓取时间: 2026-10-26
官网收录不同配置下的系统提交。本结果的任务数、预算和执行日期未完整披露；未定义指标及身份待核实行已排除。JSON 原始比例按官网展示规则乘以 100 并保留一位小数，转换为百分比。
图表按来源顺序展示 12／96 个系统
成功率 · level1
- DeepSeek Agent · 预算未注明
- Grok Build · 预算未注明
- Grok Build · 预算未注明
- Claude Code · 预算未注明
- Claude Code · 预算未注明
- Claude Code · 预算未注明
- Claude Code · 预算未注明
- Claude Code · 预算未注明
- Google Antigravity · 预算未注明
- Panshi \(磐石\) · 预算未注明
- NASH · 预算未注明
- Lyrie Agent · 预算未注明
| 系统 | 结果 | 任务集／模式 | 运行配置 | 日期／归属 |
|---|---|---|---|---|
| DeepSeek-V4-Pro · DeepSeek Agent | 83.3% | level1score_10 | DeepSeek Agent未注明 · 1 次尝试 | 2026-08-13来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| Grok 4.5 · Grok Build | 79% | level1score_10 | Grok Build未注明 · 1 次尝试 | 2026-07-14来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| Grok 4.6 · Grok Build | 79.7% | level1score_10 | Grok Build未注明 · 1 次尝试 | 2026-08-12来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| GLM-5.3 · Claude Code | 84.5% | level1score_10 | Claude Code未注明 · 1 次尝试 | 2026-08-14来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| Feyospace-v1.1 (finetuned from Qwen3.8-27B) · Claude Code | 84.4% | level1score_10 | Claude Code未注明 · 1 次尝试 | 2026-09-23来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| Feyospace-v1 · Claude Code | 63% | level1score_10 | Claude Code未注明 · 1 次尝试 | 2026-09-08来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| Feyospace-v0 · Claude Code | 51.2% | level1score_10 | Claude Code未注明 · 1 次尝试 | 2026-09-08来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| ASL-Cyber-Flash (finetuned from DeepSeek-V4-Flash) · Claude Code | 85.9% | level1score_10 | Claude Code未注明 · 1 次尝试 | 2026-09-03来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| Gemini 3.8 Flash Cyber · Google Antigravity | 86.3% | level1score_10 | Google Antigravity未注明 · 1 次尝试 | 2026-09-10来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| DeepSeek-V4-Pro · Panshi \(磐石\) | 95.4% | level1score_10 | Panshi \(磐石\)未注明 · 1 次尝试 | 2026-09-04来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| DeepSeek-V4-Flash · NASH | 91.4% | level1score_10 | NASH未注明 · 1 次尝试 | 2026-09-01来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| Multi-model (DeepSeek-V4.1-Flash, Abliterated GLM-5.2) · Lyrie Agent | 99.2% | level1score_10 | Lyrie Agent未注明 · 1 次尝试 | 2026-09-15来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| DeepSeek-V4-Flash · PwnBot | 93.1% | level1score_10 | PwnBot未注明 · 1 次尝试 | 2026-09-27来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| Multi-model (DeepSeek-V4-Flash, OrcaCyber-Zero-1.0) · OrcaCyber | 98% | level1score_10 | OrcaCyber未注明 · 1 次尝试 | 2026-09-14来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| DeepSeek-V4-Flash · Ostorlab Neutron | 97.1% | level1score_10 | Ostorlab Neutron未注明 · 1 次尝试 | 2026-10-06来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| DeepSeek-V4-Pro · HiAUDIT Agent | 90.6% | level1score_10 | HiAUDIT Agent未注明 · 1 次尝试 | 2026-09-18来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| Basin (basin1-0912-pre-dpo) · Codex CLI | 80% | level1score_10 | Codex CLI未注明 · 1 次尝试 | 2026-09-23来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| DeepSeek-V4.1-Flash · AiPy Mini | 92.8% | level1score_10 | AiPy Mini未注明 · 1 次尝试 | 2026-09-23来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| DeepSeek-V4-Flash · TriLane | 88.9% | level1score_10 | TriLane未注明 · 1 次尝试 | 2026-09-20来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| Multi-model (DeepSeek-V4-Flash, GLM-5.2) · Ji Realm \(极境\) | 92.4% | level1score_10 | Ji Realm \(极境\)未注明 · 1 次尝试 | 2026-09-07来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| Multi-model (DeepSeek-V4-Flash, DeepSeek-V4.1-Flash, GLM-5.3, GLM-5.3-Flash) · ai-deep-audit | 94.2% | level1score_10 | ai-deep-audit未注明 · 1 次尝试 | 2026-09-18来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| Multi-model (DeepSeek-V4-Flash, GLM-5.2, GLM-5.3, GLM-5.3-Flash) · NPC Agent System | 96.7% | level1score_10 | NPC Agent System未注明 · 1 次尝试 | 2026-10-06来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| GLM-5.2 · RedbudAI | 86.3% | level1score_10 | RedbudAI未注明 · 1 次尝试 | 2026-08-10来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| GLM-5.3 · DoGNAVY | 95% | level1score_10 | DoGNAVY未注明 · 1 次尝试 | 2026-08-17来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| GLM-5.2 · DoGNAVY | 90.8% | level1score_10 | DoGNAVY未注明 · 1 次尝试 | 2026-08-03来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| Multi-model (Grok 4.5, Grok 4.6) · Gcsa Agent | 91.3% | level1score_10 | Gcsa Agent未注明 · 1 次尝试 | 2026-08-25来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| Claude Opus 4.6 · mneme | 91% | level1score_10 | mneme未注明 · 1 次尝试 | 2026-07-13来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| DeepSeek-V4-Flash · VARAS-OneMind \(智安·宇盾\) | 97% | level1score_10 | VARAS-OneMind \(智安·宇盾\)未注明 · 1 次尝试 | 2026-09-16来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| GPT-5.4 · VARAS-OneMind \(智安·宇盾\) | 73.8% | level1score_10 | VARAS-OneMind \(智安·宇盾\)未注明 · 1 次尝试 | 2026-08-14来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| DeepSeek-V4-Flash · Gusion | 87.1% | level1score_10 | Gusion未注明 · 1 次尝试 | 2026-08-16来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| DeepSeek-V4-Flash · FangcunCyber | 91.3% | level1score_10 | FangcunCyber未注明 · 1 次尝试 | 2026-08-16来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| GLM-5.3 · Alipay AI4SDL | 96.8% | level1score_10 | Alipay AI4SDL未注明 · 1 次尝试 | 2026-09-06来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| Multi-model (Creation Model, DeepSeek-V4-Pro, Qwen 3.8 Max) · Creation \(天工\) | 98.5% | level1score_10 | Creation \(天工\)未注明 · 1 次尝试 | 2026-09-07来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| Multi-model (DeepSeek-V4-Pro, Creation Model, Qwen 3.8 Max) · Creation \(天工\) | 95.3% | level1score_10 | Creation \(天工\)未注明 · 1 次尝试 | 2026-08-30来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| Qwen-Internal · Spur | 91.8% | level1score_10 | Spur未注明 · 1 次尝试 | 2026-09-03来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| Hero (finetuned from GLM-5.2) · Hero Agent | 96.6% | level1score_10 | Hero Agent未注明 · 1 次尝试 | 2026-09-03来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| DeepSeek-V4.1-Flash · RO0T Agent | 97.7% | level1score_10 | RO0T Agent未注明 · 1 次尝试 | 2026-09-18来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| DeepSeek-V4-Flash · RO0T Agent | 94.2% | level1score_10 | RO0T Agent未注明 · 1 次尝试 | 2026-08-26来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| DeepSeek-V4-Flash · DeepSeek Agent | 76.7% | level1score_10 | DeepSeek Agent未注明 · 1 次尝试 | 2026-07-31来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| XekRung · Velldepth Agent | 85.3% | level1score_10 | Velldepth Agent未注明 · 1 次尝试 | 2026-08-03来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| XekRung-1.5-27B-Preview (finetuned from Qwen3.8-27B) · XekRung Agent | 88.9% | level1score_10 | XekRung Agent未注明 · 1 次尝试 | 2026-09-13来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| JT236B · JiuXuan \(九玄\) | 92.3% | level1score_10 | JiuXuan \(九玄\)未注明 · 1 次尝试 | 2026-10-16来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| GLM-5.1 · JiuXuan \(九玄\) | 72.9% | level1score_10 | JiuXuan \(九玄\)未注明 · 1 次尝试 | 2026-08-03来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| Multi-model (GPT-5.5, Claude Opus 4.6) · Wiz Atlas | 90.9% | level1score_10 | Wiz Atlas未注明 · 1 次尝试 | 2026-07-27来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| GLM-5.3 · Sangfor AI | 97.2% | level1score_10 | Sangfor AI未注明 · 1 次尝试 | 2026-09-02来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| DeepSeek-V4-Flash · Sangfor AI | 93.2% | level1score_10 | Sangfor AI未注明 · 1 次尝试 | 2026-08-08来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| GLM-5.2 · Sangfor AI | 86.3% | level1score_10 | Sangfor AI未注明 · 1 次尝试 | 2026-07-21来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| DeepSeek-V4-Flash · Whitzard \(白泽\) | 91.2% | level1score_10 | Whitzard \(白泽\)未注明 · 1 次尝试 | 2026-08-07来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| GLM-5.1-FP8 · Whitzard \(白泽\) | 68.9% | level1score_10 | Whitzard \(白泽\)未注明 · 1 次尝试 | 2026-07-21来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| DeepSeek-V4-Pro Preview · Claude Code | 57.7% | level1score_10 | Claude Code未注明 · 1 次尝试 | 2026-07-13来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| DeepSeek-V4-Pro Preview · XD Agent | 64.1% | level1score_10 | XD Agent未注明 · 1 次尝试 | 2026-08-11来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| Muse Spark 1.1 (helpful-only) · Meta Agent | 59% | level1score_10 | Meta Agent未注明 · 1 次尝试 | 2026-07-09来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| GLM-5.2 · Xuanwu Atuin AI | 84.8% | level1score_10 | Xuanwu Atuin AI未注明 · 1 次尝试 | 2026-07-22来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| GLM-5.1 · Xuanwu Atuin AI | 84% | level1score_10 | Xuanwu Atuin AI未注明 · 1 次尝试 | 2026-07-02来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| MiniMax M3 · MopMonk Agent | 73.1% | level1score_10 | MopMonk Agent未注明 · 1 次尝试 | 2026-06-28来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| GPT-5.5-Cyber · OpenAI Agent | 85.6% | level1score_10 | OpenAI Agent未注明 · 1 次尝试 | 2026-06-22来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| Claude Opus 4.6 · Crystalline | 89.6% | level1score_10 | Crystalline未注明 · 1 次尝试 | 2026-06-08来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| Multi-model (GPT-5.4, Claude Opus 4.6, Claude Sonnet 4.6) · MDASH | 91% | level1score_10 | MDASH未注明 · 1 次尝试 | 2026-06-17来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| Multi-model (MAI-Cyber-1-Flash, GPT-5.4, Claude Opus 4.6) · MDASH | 86.3% | level1score_10 | MDASH未注明 · 1 次尝试 | 2026-07-27来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| Multi-model (GPT-5.4, Claude Opus 4.6, Claude Sonnet 4.6) · MDASH | 88.4% | level1score_10 | MDASH未注明 · 1 次尝试 | 2026-05-12来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| Muse Spark · Meta Agent | 43.5% | level1score_10 | Meta Agent未注明 · 1 次尝试 | 2026-04-14来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| GPT-5.4 · OpenAI Agent | 79% | level1score_10 | OpenAI Agent未注明 · 1 次尝试 | 2026-04-23来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| GPT-5.5 · OpenAI Agent | 81.8% | level1score_10 | OpenAI Agent未注明 · 1 次尝试 | 2026-04-23来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| GLM-5 · Claude Code | 43.2% | level1score_10 | Claude Code未注明 · 1 次尝试 | 2026-02-12来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| GLM-5.1 · Claude Code | 68.7% | level1score_10 | Claude Code未注明 · 1 次尝试 | 2026-04-07来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| GPT-5.4 · Codex CLI | 66.3% | level1score_10 | Codex CLI未注明 · 1 次尝试 | 2026-04-07来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| Gemini 3.1 Pro · Gemini CLI | 38.8% | level1score_10 | Gemini CLI未注明 · 1 次尝试 | 2026-04-07来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| GLM-4.7 · Claude Code | 23.5% | level1score_10 | Claude Code未注明 · 1 次尝试 | 2026-02-12来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| Kimi K2.5 · Kimi Agent | 41.3% | level1score_10 | Kimi Agent未注明 · 1 次尝试 | 2026-02-02来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| GPT-5 · SageAgent | 60.2% | level1score_10 | SageAgent未注明 · 1 次尝试 | 2026-02-09来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| Claude Mythos Preview · Anthropic Agent | 83.1% | level1score_10 | Anthropic Agent未注明 · 1 次尝试 | 2026-04-07来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| Claude Opus 4.6 · Anthropic Agent | 66.6% | level1score_10 | Anthropic Agent未注明 · 1 次尝试 | 2026-02-05来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| Claude Sonnet 4.6 · Anthropic Agent | 65.2% | level1score_10 | Anthropic Agent未注明 · 1 次尝试 | 2026-02-17来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| Claude Opus 4.5 · Anthropic Agent | 50.6% | level1score_10 | Anthropic Agent未注明 · 1 次尝试 | 2026-02-05来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| Claude Sonnet 4.5 · Anthropic Agent | 66.7% | level1score_10 | Anthropic Agent未注明 · 30 次尝试 | 2025-09-29来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| Claude Opus 4.1 · Anthropic Agent | 61.3% | level1score_10 | Anthropic Agent未注明 · 30 次尝试 | 2025-09-29来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| Claude Sonnet 4 · Anthropic Agent | 59.5% | level1score_10 | Anthropic Agent未注明 · 30 次尝试 | 2025-09-29来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| Claude Sonnet 3.7 · Anthropic Agent | 47.2% | level1score_10 | Anthropic Agent未注明 · 30 次尝试 | 2025-09-29来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| Claude Sonnet 4.5 · Anthropic Agent | 28.9% | level1score_10 | Anthropic Agent未注明 · 1 次尝试 | 2025-09-29来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| Claude Opus 4.1 · Anthropic Agent | 25% | level1score_10 | Anthropic Agent未注明 · 1 次尝试 | 2025-09-29来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| Claude Sonnet 4 · Anthropic Agent | 22.6% | level1score_10 | Anthropic Agent未注明 · 1 次尝试 | 2025-09-29来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| Claude Sonnet 3.7 · Anthropic Agent | 14.5% | level1score_10 | Anthropic Agent未注明 · 1 次尝试 | 2025-09-29来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| Claude Sonnet 4 · OpenHands | 17.9% | level1score_10 | OpenHands未注明 · 1 次尝试 | 2025-05-23来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| Claude Sonnet 3.7 · OpenHands | 11.9% | level1score_10 | OpenHands未注明 · 1 次尝试 | 2025-05-15来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| GPT-5 · OpenHands | 39.4% | level1score_10 | OpenHands未注明 · 1 次尝试 | 2025-12-05来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| GPT-4.1 · OpenHands | 9.4% | level1score_10 | OpenHands未注明 · 1 次尝试 | 2025-05-15来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| GPT-4.1 · Cybench | 9% | level1score_10 | Cybench未注明 · 1 次尝试 | 2025-05-15来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| GPT-4.1 · Codex CLI | 7.4% | level1score_10 | Codex CLI未注明 · 1 次尝试 | 2025-05-15来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| GPT-4.1 · ENiGMA | 7.2% | level1score_10 | ENiGMA未注明 · 1 次尝试 | 2025-05-15来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| Gemini 2.5 Flash Preview · OpenHands | 4.8% | level1score_10 | OpenHands未注明 · 1 次尝试 | 2025-05-15来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| DeepSeek-V3 · OpenHands | 3.6% | level1score_10 | OpenHands未注明 · 1 次尝试 | 2025-05-15来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| o4-mini · OpenHands | 2.5% | level1score_10 | OpenHands未注明 · 1 次尝试 | 2025-05-15来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| R2E-Gym-32B · OpenHands | 2% | level1score_10 | OpenHands未注明 · 1 次尝试 | 2025-05-15来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| Qwen3-235B-A22B · OpenHands | 1.9% | level1score_10 | OpenHands未注明 · 1 次尝试 | 2025-05-15来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| OpenHands-LM-32B · OpenHands | 1.7% | level1score_10 | OpenHands未注明 · 1 次尝试 | 2025-05-15来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| SWE-Gym-32B · OpenHands | 0.1% | level1score_10 | OpenHands未注明 · 1 次尝试 | 2025-05-15来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| GPT-4.1 · OpenHands | 3.5% | level0score_10 | OpenHands未注明 · ? 次尝试 | 2025-05-15来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| GPT-4.1 · OpenHands | 13.1% | level2score_10 | OpenHands未注明 · ? 次尝试 | 2025-05-15来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
| GPT-4.1 · OpenHands | 17.1% | level3score_10 | OpenHands未注明 · ? 次尝试 | 2025-05-15来源行日期；含义未明确 · CyberGym website · 执行方: 未注明 |
评估出处
GLM-5.2 Risk Evaluation Report → · 外部报告
CyberGym official snapshot → · 外部报告
相关研究问题
网络安全 / 漏洞复现 →
来源在其协议下直接测量所述构念。
参考文献
- [1] Zhun Wang, Tianneng Shi 等. CyberGym: Evaluating AI Agents' Real-World Cybersecurity Capabilities at Scale. 2026-03-24. v3 [arXiv]; §3.2; Appendix E; Appendix F, Figures 22–24; Author affiliations on the original paper title page; Figure 2
- [2] Kimi Code — What’s New ; Kimi K3 · July 16, 2026
- [3] kimi-k3 developer model card ; Model Summary: Total Parameters; Activated Parameters
- [4] Z.ai release notes ; GLM-5.2 entry dated 2026-06-16; GLM-5 entry dated 2026-02-12
- [5] GLM-5.2 model card ; Parameter counts not disclosed in reviewed developer source
- [6] deepseek-v4-pro release ; News article title, dated heading and availability
- [7] deepseek-v4-pro developer model card ; Introduction; model comparison table
- [8] OpenAI — introducing gpt 5 5 ; Publication date and availability section; Parameter counts not disclosed in launch article
- [9] OpenAI — introducing gpt 5 4 ; Publication date and availability section; Parameter counts not disclosed in launch article
- [10] Claude Opus 4.6 — Anthropic ; Publication date and availability section; Official launch article; parameter counts not disclosed
- [11] OpenAI — introducing gpt 5 ; Publication date and availability section; Parameter counts not disclosed in launch article
- [12] Introducing Sonnet 4.6 — Anthropic ; Publication date and availability section; Official launch article; parameter counts not disclosed
- [13] Claude 3.7 Sonnet and Claude Code — Anthropic ; Publication date and availability section; Official launch article; parameter counts not disclosed
- [14] Claude Opus 4.1 — Anthropic ; Publication date and availability section; Official launch article; parameter counts not disclosed
- [15] Introducing Claude Opus 4.5 — Anthropic ; Publication date and availability section; Official launch article; parameter counts not disclosed
- [16] Gemini 3.1 Pro: Announcing our latest Gemini AI model ; Publication date and availability section; Official launch article; parameter counts not disclosed
- [17] deepseek-v4-flash developer model card ; Introduction; model comparison table
- [18] Meta — muse-spark ; Dated launch and explicit availability; Parameter counts not disclosed in reviewed developer source
- [19] glm-5 developer model card ; Introduction: model scaling
- [20] GLM-5.2 Risk Evaluation Report. 2026-08-02. v1.1 · revised 26 August 2026 ; §2.2; Figure 3; p.8 Fig.3 printed bar label
- [21] Jack Payne, Jeremy Miller 等. Offensive Cybersecurity Time Horizons. 2026-04-02
- [22] Jack Payne, Sean Peters. GPT-5.5 Saturates Our Offensive Cybersecurity Time Horizons. 2026-05-27
- [23] Lyptus Cyber Task Horizons: aggregate model runs
- [24] CyberGym official leaderboard and machine-data extraction ; /level1/0/score_10; /level1/1/score_10; /level1/2/score_10
- [25] Evaluating Kimi K3 for Misalignment Risks. 2026-09-11. September 2026 ; §2.1.3 p.21