NUWA 风险问题
网络安全
AI 系统如何执行或促成网络行动，智能体又如何受到攻击？
网络安全
不同模型、预算与评测协议下的网络安全任务表现。
已发表证据
CyberGym · 漏洞复现率
跨来源报告的已发表测量。任务范围通过注释区分，配置差异保留在每条观测中。
105 条观测 · 43 已定位日期
● 条件匹配◇ 配置差异□ 部分条件未披露
- CyberGym Level 1 hard-task matched subset
- CyberGym hard subset with token budgets
- level1
- level0
- level2
- level3
62 条观测尚无已核实的模型发布日期，可在数据与系统结果中查看。
选择图中数据点或表格行，查看条件与出处。
105 条观测
| 系统／模型 | 结果 | 条件状态 | 任务／条件 | 评测方／报告 | 日期 |
|---|---|---|---|---|---|
  Multi-model (DeepSeek-V4.1-Flash, Abliterated GLM-5.2) · Lyrie Agent | 99.2%成功率 | 条件不完整 | level1score_10Lyrie Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
 Multi-model (Creation Model, DeepSeek-V4-Pro, Qwen 3.8 Max) · Creation \(天工\) | 98.5%成功率 | 条件不完整 | level1score_10Creation \(天工\) | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| Multi-model (DeepSeek-V4-Flash, OrcaCyber-Zero-1.0) · OrcaCyber | 98%成功率 | 条件不完整 | level1score_10OrcaCyber | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| DeepSeek-V4.1-Flash · RO0T Agent | 97.7%成功率 | 条件不完整 | level1score_10RO0T Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| GLM-5.3 · Sangfor AI | 97.2%成功率 | 条件不完整 | level1score_10Sangfor AI | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| DeepSeek-V4-Flash · Ostorlab NeutronDeepSeek-V4-Flash | 97.1%成功率 | 条件不完整 | level1score_10Ostorlab Neutron | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-04-24报告 — |
| DeepSeek-V4-Flash · VARAS-OneMind \(智安·宇盾\)DeepSeek-V4-Flash | 97%成功率 | 条件不完整 | level1score_10VARAS-OneMind \(智安·宇盾\) | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-04-24报告 — |
| GLM-5.3 · Alipay AI4SDL | 96.8%成功率 | 条件不完整 | level1score_10Alipay AI4SDL | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| Multi-model (DeepSeek-V4-Flash, GLM-5.2, GLM-5.3, GLM-5.3-Flash) · NPC Agent System | 96.7%成功率 | 条件不完整 | level1score_10NPC Agent System | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| Hero (finetuned from GLM-5.2) · Hero Agent | 96.6%成功率 | 条件不完整 | level1score_10Hero Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| DeepSeek-V4-Pro · Panshi \(磐石\)DeepSeek V4 Pro | 95.4%成功率 | 条件不完整 | level1score_10Panshi \(磐石\) | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-04-24报告 — |
| Multi-model (DeepSeek-V4-Pro, Creation Model, Qwen 3.8 Max) · Creation \(天工\) | 95.3%成功率 | 条件不完整 | level1score_10Creation \(天工\) | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| GLM-5.3 · DoGNAVY | 95%成功率 | 条件不完整 | level1score_10DoGNAVY | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| Multi-model (DeepSeek-V4-Flash, DeepSeek-V4.1-Flash, GLM-5.3, GLM-5.3-Flash) · ai-deep-audit | 94.2%成功率 | 条件不完整 | level1score_10ai-deep-audit | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| DeepSeek-V4-Flash · RO0T AgentDeepSeek-V4-Flash | 94.2%成功率 | 条件不完整 | level1score_10RO0T Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-04-24报告 — |
| DeepSeek-V4-Flash · Sangfor AIDeepSeek-V4-Flash | 93.2%成功率 | 条件不完整 | level1score_10Sangfor AI | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-04-24报告 — |
| DeepSeek-V4-Flash · PwnBotDeepSeek-V4-Flash | 93.1%成功率 | 条件不完整 | level1score_10PwnBot | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-04-24报告 — |
| DeepSeek-V4.1-Flash · AiPy Mini | 92.8%成功率 | 条件不完整 | level1score_10AiPy Mini | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| Multi-model (DeepSeek-V4-Flash, GLM-5.2) · Ji Realm \(极境\) | 92.4%成功率 | 条件不完整 | level1score_10Ji Realm \(极境\) | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| JT236B · JiuXuan \(九玄\) | 92.3%成功率 | 条件不完整 | level1score_10JiuXuan \(九玄\) | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| Qwen-Internal · Spur | 91.8%成功率 | 条件不完整 | level1score_10Spur | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| DeepSeek-V4-Flash · NASHDeepSeek-V4-Flash | 91.4%成功率 | 条件不完整 | level1score_10NASH | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-04-24报告 — |
 Multi-model (Grok 4.5, Grok 4.6) · Gcsa Agent | 91.3%成功率 | 条件不完整 | level1score_10Gcsa Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| DeepSeek-V4-Flash · FangcunCyberDeepSeek-V4-Flash | 91.3%成功率 | 条件不完整 | level1score_10FangcunCyber | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-04-24报告 — |
| DeepSeek-V4-Flash · Whitzard \(白泽\)DeepSeek-V4-Flash | 91.2%成功率 | 条件不完整 | level1score_10Whitzard \(白泽\) | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-04-24报告 — |
 Claude Opus 4.6 · mnemeClaude Opus 4.6 | 91%成功率 | 条件不完整 | level1score_10mneme | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-02-05报告 — |
 Multi-model (GPT-5.4, Claude Opus 4.6, Claude Sonnet 4.6) · MDASH | 91%成功率 | 条件不完整 | level1score_10MDASH | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| Multi-model (GPT-5.5, Claude Opus 4.6) · Wiz Atlas | 90.9%成功率 | 条件不完整 | level1score_10Wiz Atlas | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| GLM-5.2 · DoGNAVYGLM-5.2 | 90.8%成功率 | 条件不完整 | level1score_10DoGNAVY | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-06-16报告 — |
| DeepSeek-V4-Pro · HiAUDIT AgentDeepSeek V4 Pro | 90.6%成功率 | 条件不完整 | level1score_10HiAUDIT Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-04-24报告 — |
| Claude Opus 4.6 · CrystallineClaude Opus 4.6 | 89.6%成功率 | 条件不完整 | level1score_10Crystalline | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-02-05报告 — |
| DeepSeek-V4-Flash · TriLaneDeepSeek-V4-Flash | 88.9%成功率 | 条件不完整 | level1score_10TriLane | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-04-24报告 — |
| XekRung-1.5-27B-Preview (finetuned from Qwen3.8-27B) · XekRung Agent | 88.9%成功率 | 条件不完整 | level1score_10XekRung Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| Multi-model (GPT-5.4, Claude Opus 4.6, Claude Sonnet 4.6) · MDASH | 88.4%成功率 | 条件不完整 | level1score_10MDASH | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| GPT-5.5 | 88.12%CyberGym pass@1 | 条件不完整 | CyberGym Level 1 hard-task matched subsetCyberGym pass@150M tokens per task— | Lyptus ResearchGLM-5.2 Risk Evaluation Report | 发布 2026-04-23报告 2026-08-02 |
| DeepSeek-V4-Flash · GusionDeepSeek-V4-Flash | 87.1%成功率 | 条件不完整 | level1score_10Gusion | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-04-24报告 — |
 Gemini 3.8 Flash Cyber · Google Antigravity | 86.3%成功率 | 条件不完整 | level1score_10Google Antigravity | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| GLM-5.2 · RedbudAIGLM-5.2 | 86.3%成功率 | 条件不完整 | level1score_10RedbudAI | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-06-16报告 — |
| GLM-5.2 · Sangfor AIGLM-5.2 | 86.3%成功率 | 条件不完整 | level1score_10Sangfor AI | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-06-16报告 — |
| Multi-model (MAI-Cyber-1-Flash, GPT-5.4, Claude Opus 4.6) · MDASH | 86.3%成功率 | 条件不完整 | level1score_10MDASH | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| ASL-Cyber-Flash (finetuned from DeepSeek-V4-Flash) · Claude Code | 85.9%成功率 | 条件不完整 | level1score_10Claude Code | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| GPT-5.5-Cyber · OpenAI Agent | 85.6%成功率 | 条件不完整 | level1score_10OpenAI Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| XekRung · Velldepth Agent | 85.3%成功率 | 条件不完整 | level1score_10Velldepth Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| GLM-5.2 · Xuanwu Atuin AIGLM-5.2 | 84.8%成功率 | 条件不完整 | level1score_10Xuanwu Atuin AI | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-06-16报告 — |
| GLM-5.3 · Claude Code | 84.5%成功率 | 条件不完整 | level1score_10Claude Code | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| Feyospace-v1.1 (finetuned from Qwen3.8-27B) · Claude Code | 84.4%成功率 | 条件不完整 | level1score_10Claude Code | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| GLM-5.1 · Xuanwu Atuin AI | 84%成功率 | 条件不完整 | level1score_10Xuanwu Atuin AI | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| DeepSeek-V4-Pro · DeepSeek AgentDeepSeek V4 Pro | 83.3%成功率 | 条件不完整 | level1score_10DeepSeek Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-04-24报告 — |
| Claude Mythos Preview · Anthropic AgentClaude Mythos Preview | 83.1%成功率 | 条件不完整 | level1score_10Anthropic Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| GPT-5.5 · OpenAI AgentGPT-5.5 | 81.8%成功率 | 条件不完整 | level1score_10OpenAI Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-04-23报告 — |
| Basin (basin1-0912-pre-dpo) · Codex CLI | 80%成功率 | 条件不完整 | level1score_10Codex CLI | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| Grok 4.6 · Grok Build | 79.7%成功率 | 条件不完整 | level1score_10Grok Build | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| Grok 4.5 · Grok Build | 79%成功率 | 条件不完整 | level1score_10Grok Build | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| GPT-5.4 · OpenAI AgentGPT-5.4 | 79%成功率 | 条件不完整 | level1score_10OpenAI Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-03-05报告 — |
| DeepSeek-V4-Flash · DeepSeek AgentDeepSeek-V4-Flash | 76.7%成功率 | 条件不完整 | level1score_10DeepSeek Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-04-24报告 — |
| GLM-5.2 | 76.24%CyberGym pass@1 | 条件不完整 | CyberGym Level 1 hard-task matched subsetprovider-default reasoning50M tokens per taskInspect Evals | SaferAIGLM-5.2 Risk Evaluation Report | 发布 2026-06-16报告 2026-08-02 |
| GPT-5.4 · VARAS-OneMind \(智安·宇盾\)GPT-5.4 | 73.8%成功率 | 条件不完整 | level1score_10VARAS-OneMind \(智安·宇盾\) | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-03-05报告 — |
 MiniMax M3 · MopMonk Agent | 73.1%成功率 | 条件不完整 | level1score_10MopMonk Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| GLM-5.1 · JiuXuan \(九玄\) | 72.9%成功率 | 条件不完整 | level1score_10JiuXuan \(九玄\) | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| GLM-5.1-FP8 · Whitzard \(白泽\) | 68.9%成功率 | 条件不完整 | level1score_10Whitzard \(白泽\) | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| GLM-5.1 · Claude Code | 68.7%成功率 | 条件不完整 | level1score_10Claude Code | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| Claude Sonnet 4.5 · Anthropic Agent | 66.7%成功率 | 条件不完整 | level1score_10Anthropic Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| Claude Opus 4.6 · Anthropic AgentClaude Opus 4.6 | 66.6%成功率 | 条件不完整 | level1score_10Anthropic Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-02-05报告 — |
| GPT-5.4 · Codex CLIGPT-5.4 | 66.3%成功率 | 条件不完整 | level1score_10Codex CLI | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-03-05报告 — |
| Claude Sonnet 4.6 · Anthropic AgentClaude Sonnet 4.6 | 65.2%成功率 | 条件不完整 | level1score_10Anthropic Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-02-17报告 — |
| DeepSeek-V4-Pro Preview · XD Agent | 64.1%成功率 | 条件不完整 | level1score_10XD Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| GLM-5.2 | 63.37%CyberGym pass@1 | 条件不完整 | CyberGym Level 1 hard-task matched subsetprovider-default reasoning10M tokens per taskInspect Evals | SaferAIGLM-5.2 Risk Evaluation Report | 发布 2026-06-16报告 2026-08-02 |
| Feyospace-v1 · Claude Code | 63%成功率 | 条件不完整 | level1score_10Claude Code | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| Claude Opus 4.1 · Anthropic AgentClaude Opus 4.1 | 61.3%成功率 | 条件不完整 | level1score_10Anthropic Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2025-08-05报告 — |
| GPT-5 · SageAgentGPT-5 | 60.2%成功率 | 条件不完整 | level1score_10SageAgent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2025-08-07报告 — |
| Claude Sonnet 4 · Anthropic Agent | 59.5%成功率 | 条件不完整 | level1score_10Anthropic Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
 Muse Spark 1.1 (helpful-only) · Meta Agent | 59%成功率 | 条件不完整 | level1score_10Meta Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| DeepSeek-V4-Pro Preview · Claude Code | 57.7%成功率 | 条件不完整 | level1score_10Claude Code | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| GPT-5.5 | 55.45%CyberGym pass@1 | 条件不完整 | CyberGym Level 1 hard-task matched subsetCyberGym pass@12M tokens per task— | Lyptus ResearchGLM-5.2 Risk Evaluation Report | 发布 2026-04-23报告 2026-08-02 |
| Feyospace-v0 · Claude Code | 51.2%成功率 | 条件不完整 | level1score_10Claude Code | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| Claude Opus 4.5 · Anthropic AgentClaude Opus 4.5 | 50.6%成功率 | 条件不完整 | level1score_10Anthropic Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2025-11-24报告 — |
| Claude Sonnet 3.7 · Anthropic AgentClaude 3.7 Sonnet | 47.2%成功率 | 条件不完整 | level1score_10Anthropic Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2025-02-24报告 — |
| Claude Opus 4.6 | 44.55%CyberGym pass@1 | 条件不完整 | CyberGym Level 1 hard-task matched subsetCyberGym pass@12M tokens per task— | Lyptus ResearchGLM-5.2 Risk Evaluation Report | 发布 2026-02-05报告 2026-08-02 |
| Muse Spark · Meta AgentMuse Spark | 43.5%成功率 | 条件不完整 | level1score_10Meta Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-04-08报告 — |
| GLM-5 · Claude CodeGLM-5 | 43.2%成功率 | 条件不完整 | level1score_10Claude Code | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-02-12报告 — |
 Kimi K2.5 · Kimi Agent | 41.3%成功率 | 条件不完整 | level1score_10Kimi Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| GPT-5 · OpenHandsGPT-5 | 39.4%成功率 | 条件不完整 | level1score_10OpenHands | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2025-08-07报告 — |
| Gemini 3.1 Pro · Gemini CLIGemini 3.1 Pro | 38.8%成功率 | 条件不完整 | level1score_10Gemini CLI | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2026-02-19报告 — |
| GLM-5.2 | 36.63%CyberGym pass@1 | 条件不完整 | CyberGym Level 1 hard-task matched subsetprovider-default reasoning2M tokens per taskInspect Evals | SaferAIGLM-5.2 Risk Evaluation Report | 发布 2026-06-16报告 2026-08-02 |
| Claude Sonnet 4.5 · Anthropic Agent | 28.9%成功率 | 条件不完整 | level1score_10Anthropic Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| Claude Opus 4.1 · Anthropic AgentClaude Opus 4.1 | 25%成功率 | 条件不完整 | level1score_10Anthropic Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2025-08-05报告 — |
| GLM-4.7 · Claude Code | 23.5%成功率 | 条件不完整 | level1score_10Claude Code | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| Claude Sonnet 4 · Anthropic Agent | 22.6%成功率 | 条件不完整 | level1score_10Anthropic Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| Claude Sonnet 4 · OpenHands | 17.9%成功率 | 条件不完整 | level1score_10OpenHands | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| GPT-4.1 · OpenHands | 17.1%成功率 | 条件不完整 | level3score_10OpenHands | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| Claude Sonnet 3.7 · Anthropic AgentClaude 3.7 Sonnet | 14.5%成功率 | 条件不完整 | level1score_10Anthropic Agent | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2025-02-24报告 — |
| GPT-4.1 · OpenHands | 13.1%成功率 | 条件不完整 | level2score_10OpenHands | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| Claude Sonnet 3.7 · OpenHandsClaude 3.7 Sonnet | 11.9%成功率 | 条件不完整 | level1score_10OpenHands | 未披露CyberGym official leaderboard and machine-data extraction | 发布 2025-02-24报告 — |
| GPT-4.1 · OpenHands | 9.4%成功率 | 条件不完整 | level1score_10OpenHands | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| GPT-4.1 · Cybench | 9%成功率 | 条件不完整 | level1score_10Cybench | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| GPT-4.1 · Codex CLI | 7.4%成功率 | 条件不完整 | level1score_10Codex CLI | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| GPT-4.1 · ENiGMA | 7.2%成功率 | 条件不完整 | level1score_10ENiGMA | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| Gemini 2.5 Flash Preview · OpenHands | 4.8%成功率 | 条件不完整 | level1score_10OpenHands | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| DeepSeek-V3 · OpenHands | 3.6%成功率 | 条件不完整 | level1score_10OpenHands | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| GPT-4.1 · OpenHands | 3.5%成功率 | 条件不完整 | level0score_10OpenHands | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| o4-mini · OpenHands | 2.5%成功率 | 条件不完整 | level1score_10OpenHands | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| R2E-Gym-32B · OpenHands | 2%成功率 | 条件不完整 | level1score_10OpenHands | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| Qwen3-235B-A22B · OpenHands | 1.9%成功率 | 条件不完整 | level1score_10OpenHands | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| OpenHands-LM-32B · OpenHands | 1.7%成功率 | 条件不完整 | level1score_10OpenHands | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
| SWE-Gym-32B · OpenHands | 0.1%成功率 | 条件不完整 | level1score_10OpenHands | 未披露CyberGym official leaderboard and machine-data extraction | 发布 —报告 — |
结合任务范围与运行配置解读结果。
METR Time Horizon 1.1 来源已停止积极更新，最后更新于 2026 年 9 月 8 日。超过 16 小时的估计超出其可靠测量范围。
协议、配置与原始证据 →补充研究与解释
原文选读 · 模型辅助整理，独立复核待完成。以下记录补充解释，未改变趋势图成绩。
- Incident Report: unsanctioned agent behaviour during cyber testing →
122 个运行中 10 个出现超范围行为，共计 19 次行为；互联网有意开放且部分安全分类器关闭。
- Scaling Misuse Detection with Self-Assessment →
相对教师分类器，在 1% 误报率下总体召回 78%、高优先级召回 94%；对抗阻断试验仍有明显失效。
- TraceProbe: An Execution-Based Benchmark for Diagnosing Safety Failures in LLM Agents →
155 场景、12 模型、每设置 3 次运行；分别报告任务成功、终态违规、攻击子集成功和潜在中间违规。
- Frontier AI Trends Report →
汇总 QA、长任务、智能体、专家红队和人类研究；对 2,700 余条轨迹未发现可观测的自发藏拙，同时承认黑箱盲点。
范围
分别记录攻击任务能力与智能体受侵害；经授权的安全研究不是犯罪使用观测。
威胁模型
特定主体在网络任务中使用 AI 系统、访问权限、工具与目标。
证据缺口
基准成功率不能推断真实攻击发生率或预期损失。
相关研究
AgentCyberRange: Evaluate Agent Cyberattack Capabilities in Enterprise-like Cyber Ranges
研究问题智能体能否从有限入口信息自主发现攻击面，并在权限和线索积累后持续决策？
来源摘要介绍明确区分漏洞复现与自主靶场推进，两者起始信息与任务结构不同（适用范围）。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
Cybench: A Framework for Evaluating Cybersecurity Capabilities and Risks of Language Models
研究问题语言模型智能体能够完成怎样的多步安全任务？提供中间目标后，哪些步骤仍困难？
来源摘要不同模型在不同终点领先，来源本身不支持跨三种指标的唯一排序（§5.1）。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
CyberGym: Evaluating AI Agents' Real-World Cybersecurity Capabilities at Scale
研究问题智能体能否规模化复现历史真实漏洞？提供的信息、模型和智能体配置如何改变这一能力？
来源摘要难度阶梯显示，在所研究配置中，更多诊断信息使复现更容易（§4，图 6）。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
Measuring AI Agents’ Progress on Multi-Step Cyber Attack Scenarios
研究问题模型代际与推理预算如何影响连续靶场任务进展？
来源摘要10M令牌下，企业靶场平均进展从GPT-4o的1.7步升至Opus 4.6的9.8步。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 解读 / 局限
AgentDojo: A Dynamic Environment to Evaluate Prompt Injection Attacks and Defenses for LLM Agents
研究问题工具智能体处理攻击者控制的外部数据时能否保持任务效用？
来源摘要没有攻击时智能体也会失败。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
SEC-bench Pro: Can Language Models Solve Long-Horizon Software Security Tasks?
研究问题智能体能否在大型安全关键代码库复现指定披露漏洞？
来源摘要所报最佳模型框架整体成功58%。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 解读 / 局限
证据矩阵
行是研究问题，列是评测的观测维度。数量指评测档案，不代表风险高低。
| 风险问题 | Propensity · 行为倾向 | Capability · 任务能力 | Behavior · 观察行为 |
|---|---|---|---|
| 网络任务执行AI 系统能否在授权测试环境中完成多步网络任务？ | —当前目录未收录证据 | 15项评测档案 | —当前目录未收录证据 |
| 漏洞复现智能体能否在测试条件下复现已记录漏洞？ | —当前目录未收录证据 | 2项评测档案 | —当前目录未收录证据 |
| 非可信输入导致智能体受侵害非可信工具输出如何使智能体偏离授权任务？ | —当前目录未收录证据 | —当前目录未收录证据 | 2项评测档案 |
连线表示研究关联，不代表已验证的因果链或风险分数。
网络安全 / Propensity · 行为倾向
网络任务执行
AI 系统能否在授权测试环境中完成多步网络任务？
- 纳入
- 披露访问条件与预算的靶场及 CTF 任务成功情况。
- 不能据此认定
- 测试成功不是现实攻击观测。
当前目录未收录证据
网络安全 / Capability · 任务能力
网络任务执行
AI 系统能否在授权测试环境中完成多步网络任务？
- 纳入
- 披露访问条件与预算的靶场及 CTF 任务成功情况。
- 不能据此认定
- 测试成功不是现实攻击观测。
15 项评测档案 · 116 条已核验结果
可复用基准 · 直接测量
AgentCyberRange ↗
来源在其协议下直接测量所述构念。
评测对象: AI 智能体完成靶场任务
证据关系: Official leaderboard, Level-0 tracks
研究评测 · 直接测量
Measuring AI Agents’ Progress on Multi-Step Cyber Attack Scenarios ↗
有限靶场的任务完成情况只测量特定协议下的能力。
评测对象: AI 智能体系统
证据关系: Research abstract; full technical paper linked
可复用基准 · 前提证据
SEC-bench Pro ↗
漏洞复现可为网络任务能力提供前提证据，但不等于完整入侵链。
评测对象: 执行安全任务的编程智能体
证据关系: arXiv:2605.26548v2, task definition
可复用基准 · 直接测量
SandboxEscapeBench ↗
基准直接测试对抗性沙箱逃逸任务。
评测对象: 具有容器 shell 权限的智能体
证据关系: AISI abstract, nested sandbox and threat model
可复用基准 · 直接测量
EVMbench ↗
该协议明确测量该问题或其使能子能力，结论保留给定条件。
评测对象: 给定任务配置中的模型或智能体。
证据关系: Original protocol method and limitations
可复用基准 · 直接测量
CTF-Archive-Diamond ↗
该协议明确测量该问题或其使能子能力，结论保留给定条件。
评测对象: 给定任务配置中的模型或智能体。
证据关系: Original protocol method and limitations
可复用基准 · 直接测量
ExploitGym · ExploitGym official snapshot ↗
主维度依据原协议的任务结果确定。主题关联见研究档案，不推断尚未审阅的问题级关联。
评测对象: 在真实软件目标上评测利用构造，并核查成功是否依赖指定漏洞。
证据关系: /results/3/on_target
可复用基准 · 直接测量
ExploitGym · ExploitGym official snapshot ↗
主维度依据原协议的任务结果确定。主题关联见研究档案，不推断尚未审阅的问题级关联。
评测对象: 在真实软件目标上评测利用构造，并核查成功是否依赖指定漏洞。
证据关系: /results/3/flag_captured
可复用基准 · 直接测量
ExploitGym · ExploitGym official snapshot ↗
主维度依据原协议的任务结果确定。主题关联见研究档案，不推断尚未审阅的问题级关联。
评测对象: 在真实软件目标上评测利用构造，并核查成功是否依赖指定漏洞。
证据关系: /results/6/on_target
可复用基准 · 直接测量
ExploitGym · ExploitGym official snapshot ↗
主维度依据原协议的任务结果确定。主题关联见研究档案，不推断尚未审阅的问题级关联。
评测对象: 在真实软件目标上评测利用构造，并核查成功是否依赖指定漏洞。
证据关系: /results/11/on_target
可复用基准 · 直接测量
ExploitGym · ExploitGym official snapshot ↗
主维度依据原协议的任务结果确定。主题关联见研究档案，不推断尚未审阅的问题级关联。
评测对象: 在真实软件目标上评测利用构造，并核查成功是否依赖指定漏洞。
证据关系: /results/11/subRows/0/on_target
可复用基准 · 直接测量
ExploitGym · ExploitGym official snapshot ↗
主维度依据原协议的任务结果确定。主题关联见研究档案，不推断尚未审阅的问题级关联。
评测对象: 在真实软件目标上评测利用构造，并核查成功是否依赖指定漏洞。
证据关系: /results/12/on_target
可复用基准 · 直接测量
ExploitGym · ExploitGym official snapshot ↗
主维度依据原协议的任务结果确定。主题关联见研究档案，不推断尚未审阅的问题级关联。
评测对象: 在真实软件目标上评测利用构造，并核查成功是否依赖指定漏洞。
证据关系: /results/14/on_target
可复用基准 · 直接测量
ExploitGym · ExploitGym official snapshot ↗
主维度依据原协议的任务结果确定。主题关联见研究档案，不推断尚未审阅的问题级关联。
评测对象: 在真实软件目标上评测利用构造，并核查成功是否依赖指定漏洞。
证据关系: /results/14/subRows/0/on_target
网络安全 / Behavior · 观察行为
网络任务执行
AI 系统能否在授权测试环境中完成多步网络任务？
- 纳入
- 披露访问条件与预算的靶场及 CTF 任务成功情况。
- 不能据此认定
- 测试成功不是现实攻击观测。
当前目录未收录证据
网络安全 / Propensity · 行为倾向
漏洞复现
智能体能否在测试条件下复现已记录漏洞？
- 纳入
- 针对历史目标的有效复现。
- 不能据此认定
- 复现不等于发现新漏洞。
当前目录未收录证据
网络安全 / Capability · 任务能力
漏洞复现
智能体能否在测试条件下复现已记录漏洞？
- 纳入
- 针对历史目标的有效复现。
- 不能据此认定
- 复现不等于发现新漏洞。
2 项评测档案 · 154 条已核验结果
可复用基准 · 直接测量
CyberGym ↗
来源在其协议下直接测量所述构念。
评测对象: 复现历史漏洞的 AI 智能体
证据关系: Paper abstract and validated trigger protocol
可复用基准 · 直接测量
SEC-bench Pro ↗
论文评测已披露漏洞的可运行复现。
评测对象: 拥有代码库及漏洞报告上下文的编程智能体
证据关系: arXiv:2605.26548v2, abstract and benchmark construction
网络安全 / Behavior · 观察行为
漏洞复现
智能体能否在测试条件下复现已记录漏洞？
- 纳入
- 针对历史目标的有效复现。
- 不能据此认定
- 复现不等于发现新漏洞。
当前目录未收录证据
网络安全 / Propensity · 行为倾向
非可信输入导致智能体受侵害
非可信工具输出如何使智能体偏离授权任务？
- 纳入
- 有攻击目标及正常任务效用的提示注入试验。
- 不能据此认定
- 这衡量受攻击智能体，不代表模型有攻击意图。
当前目录未收录证据
网络安全 / Capability · 任务能力
非可信输入导致智能体受侵害
非可信工具输出如何使智能体偏离授权任务？
- 纳入
- 有攻击目标及正常任务效用的提示注入试验。
- 不能据此认定
- 这衡量受攻击智能体，不代表模型有攻击意图。
当前目录未收录证据
网络安全 / Behavior · 观察行为
非可信输入导致智能体受侵害
非可信工具输出如何使智能体偏离授权任务？
- 纳入
- 有攻击目标及正常任务效用的提示注入试验。
- 不能据此认定
- 这衡量受攻击智能体，不代表模型有攻击意图。
2 项评测档案 · 19 条已核验结果
可复用基准 · 直接测量
AgentDojo ↗
来源在其协议下直接测量所述构念。
评测对象: 受到工具输出注入的防御智能体
证据关系: AgentDojo v3, attack success and utility metrics
可复用基准 · 背景资料
TraceProbe ↗
编辑范围关联；不同测量的成绩不等价。
评测对象: 终态安全是否掩盖中途违规？
证据关系: §3.6; §5–6; Tables 2,15,17; limitations; text lines 00483
参考文献
- [1] Evaluating Kimi K3 for Misalignment Risks. 2026-09-11. September 2026 ; §2.1.1; p. 19; §2.1.2; p. 19
- [2] Evaluating DeepSeek v4 Pro for Frontier Risks. 2026-05-29. v1.1 · 29 May 2026 ; §1.1; §1.2
- [3] GLM-5.2 Risk Evaluation Report. 2026-08-02. v1.1 · revised 26 August 2026 ; §2.1; Appendix A.1; §2.2; Appendix A.2
- [4] Evaluation of DeepSeek AI Models. 2025-09-30. 30 September 2025 ; §4.1.2; pp.27–28; §5.1
- [5] CAISI Evaluation of DeepSeek V4 Pro. 2026-05-01. 1 May 2026 ; Capability Results; Figure 2; Original protocol method and limitations
- [6] Claude Opus 4.5 System Card. 2025-11-05. 2025-12-05 ; PDF table of contents → named RSP / cyber / alignment sections
- [7] Claude Opus 4.6 System Card. 2026-02-06. 2026-03-06 ; PDF contents → named RSP, agentic safety and alignment sections
- [8] Claude Sonnet 4.6 System Card. 2026-02-17. 2026-03-06 ; PDF table of contents → named RSP / cyber / alignment sections
- [9] Claude Opus 4.7 System Card. 2026-04-16 ; PDF table of contents → named RSP / cyber / alignment sections
- [10] Claude Opus 4.8 System Card. 2026-05-28. 2026-06-17 ; PDF table of contents → named RSP / cyber / alignment sections
- [11] Claude Sonnet 5 System Card. 2026-06-30. 2026-07-10 ; PDF table of contents → named RSP / cyber / alignment sections
- [12] Muse Wonder Model Card. 2026-10-23 ; PDF pp.7–10
- [13] Muse Spark Safety & Preparedness Report. 2026-05-14. 2026-08-24 ; https://arxiv.org/html/2606.12429#S2.SS2; https://arxiv.org/html/2606.12429#S3.SS2
- [14] Muse Spark 1.1 Evaluation Report. 2026-07-09 ; PDF §§2.1–2.3; PDF §3
- [15] GPT-5.6 System Card. 2026-07-09 ; Original HTML → named Preparedness / Alignment / CoT Monitorability sections
- [16] GPT-6 Sol and GPT-6 Luna: October 2026 update. 2026-10-07 ; https://deploymentsafety.openai.com/gpt-6-october#section.8
- [17] Grok 4.7 Model Card. 2026-09-21 ; PDF pp.17–19 (printed 16–18)
- [18] CyberGym official leaderboard and machine-data extraction ; /level1/0/score_10; /level1/64/score_10
- [19] ExploitGym official leaderboard and benchmark page ; /results/3/on_target; /results/3/flag_captured; /results/6/on_target
- [20] SEC-bench Pro official leaderboard: selected 260617 and historical 260505 ; /0/results/0/score_modes/headline/score; /0/results/0/score_modes/completed/score; /1/results/0/score_modes/headline/score
- [21] AgentCyberRange: Evaluate Agent Cyberattack Capabilities in Enterprise-like Cyber Ranges ; routes-B-0Mubrq.js::QR/1/level0/pass3; routes-B-0Mubrq.js::$R/1/level0/pass3; Official leaderboard, Level-0 tracks
- [22] Andy K. Zhang, Neil Perry 等. Cybench: A Framework for Evaluating Cybersecurity Capabilities and Risks of Language Models. 2025-04-12. v4 ; Paper abstract and task protocol
- [23] Linus Folkerts, Will Payne 等. Measuring AI Agents’ Progress on Multi-Step Cyber Attack Scenarios. Research page checked 2026-10-25 ; Research abstract; full technical paper linked
- [24] Zhun Wang, Tianneng Shi 等. CyberGym: Evaluating AI Agents' Real-World Cybersecurity Capabilities at Scale. 2026-03-24. v3 ; Paper abstract and validated trigger protocol
- [25] Edoardo Debenedetti, Jie Zhang 等. AgentDojo: A Dynamic Environment to Evaluate Prompt Injection Attacks and Defenses for LLM Agents. 2024-11-24. v3 ; AgentDojo v3, attack success and utility metrics
- [26] Hwiwon Lee ∗ Jiawei Liu Dongjun Kim Wubing Xia Ziqi Zhang Chunqiu Steven Xia Lingming Zhang ∗. SEC-bench Pro: Can Language Models Solve Long-Horizon Software Security Tasks?. 2026-07-20. v2 ; arXiv:2605.26548v2, abstract and benchmark construction; arXiv:2605.26548v2, task definition
- [27] Rahul Marchand, Art O Cathain 等. Quantifying Frontier LLM Capabilities for Container Sandbox Escape. AISI research page checked 2026-10-25 ; AISI abstract, nested sandbox and threat model
- [28] EVMbench ; Original protocol method and limitations
- [29] TraceProbe: An Execution-Based Benchmark for Diagnosing Safety Failures in LLM Agents ; §3.6; §5–6; Tables 2,15,17; limitations; text lines 00483