白泽(Whitzard)女娲实验室 ↗
NUWANUWA INDEX

搜索 NUWA Index

研究 · 测量协议 · 评测结果 · 观点

English
← NUWA Index

来源档案

AgentCyberRange

整理 AgentCyberRange 官网报告的评测结果,保留受测系统和运行配置。

原始来源与出处 ↓

评测结果

数据报告方: AgentCyberRange website · 实际执行方: 各提交的执行方未完整确定 · 抓取时间: 2026-10-26

Web 利用与后渗透分别评测。Pass@3 保留官网定义;各行的预算、样本量和执行日期未披露。

图表按来源顺序展示 11/11 个系统

成功率(Pass@3) · Web exploitation · level0

  1. Codex · 预算未注明
  2. Codex · 预算未注明
  3. Codex · 预算未注明
  4. Claude Code · 预算未注明
  5. Claude Code · 预算未注明
  6. Claude Code · 预算未注明
  7. Claude Code · 预算未注明
  8. Qwen Code · 预算未注明
  9. Qwen Code · 预算未注明
  10. Kimi Code · 预算未注明
  11. Kimi Code · 预算未注明
来源报告的系统及评测条件
系统结果任务集/模式运行配置日期/归属
GPT-5.6 Sol / Codex 0.144.135.37%Web exploitationlevel0Codex未注明 · ? 次尝试未注明来源行日期;含义未明确 · AgentCyberRange website · 执行方: 未注明
GPT-5.5 / Codex 0.133.018.97%Web exploitationlevel0Codex未注明 · ? 次尝试未注明来源行日期;含义未明确 · AgentCyberRange website · 执行方: 未注明
GPT-5.5 / Codex 0.147.026.67%Web exploitationlevel0Codex未注明 · ? 次尝试未注明来源行日期;含义未明确 · AgentCyberRange website · 执行方: 未注明
Claude-Opus-4.7 / Claude Code 2.1.15014.02%Web exploitationlevel0Claude Code未注明 · ? 次尝试未注明来源行日期;含义未明确 · AgentCyberRange website · 执行方: 未注明
GLM-5.1 / Claude Code 2.1.15011.97%Web exploitationlevel0Claude Code未注明 · ? 次尝试未注明来源行日期;含义未明确 · AgentCyberRange website · 执行方: 未注明
DeepSeek-V4-Pro / Claude Code 2.1.15010.26%Web exploitationlevel0Claude Code未注明 · ? 次尝试未注明来源行日期;含义未明确 · AgentCyberRange website · 执行方: 未注明
DeepSeek-V4-Flash / Claude Code 2.1.22614.19%Web exploitationlevel0Claude Code未注明 · ? 次尝试未注明来源行日期;含义未明确 · AgentCyberRange website · 执行方: 未注明
Qwen-3.7-Max / Qwen Code 0.16.113.51%Web exploitationlevel0Qwen Code未注明 · ? 次尝试未注明来源行日期;含义未明确 · AgentCyberRange website · 执行方: 未注明
Qwen-3.8-Max / Qwen Code 0.21.1022.39%Web exploitationlevel0Qwen Code未注明 · ? 次尝试未注明来源行日期;含义未明确 · AgentCyberRange website · 执行方: 未注明
Kimi-2.6 / Kimi Code 1.44.05.81%Web exploitationlevel0Kimi Code未注明 · ? 次尝试未注明来源行日期;含义未明确 · AgentCyberRange website · 执行方: 未注明
Kimi-K3 / Kimi Code 0.35.024.61%Web exploitationlevel0Kimi Code未注明 · ? 次尝试未注明来源行日期;含义未明确 · AgentCyberRange website · 执行方: 未注明
GPT-5.6 Sol / Codex 0.144.174.1%Post exploitationlevel0Codex未注明 · ? 次尝试未注明来源行日期;含义未明确 · AgentCyberRange website · 执行方: 未注明
GPT-5.5 / Codex 0.133.031.71%Post exploitationlevel0Codex未注明 · ? 次尝试未注明来源行日期;含义未明确 · AgentCyberRange website · 执行方: 未注明
GPT-5.5 / Codex 0.147.042.07%Post exploitationlevel0Codex未注明 · ? 次尝试未注明来源行日期;含义未明确 · AgentCyberRange website · 执行方: 未注明
Claude-Opus-4.7 / Claude Code 2.1.15015.04%Post exploitationlevel0Claude Code未注明 · ? 次尝试未注明来源行日期;含义未明确 · AgentCyberRange website · 执行方: 未注明
GLM-5.1 / Claude Code 2.1.15011.37%Post exploitationlevel0Claude Code未注明 · ? 次尝试未注明来源行日期;含义未明确 · AgentCyberRange website · 执行方: 未注明
DeepSeek-V4-Pro / Claude Code 2.1.15012.2%Post exploitationlevel0Claude Code未注明 · ? 次尝试未注明来源行日期;含义未明确 · AgentCyberRange website · 执行方: 未注明
DeepSeek-V4-Flash / Claude Code 2.1.22628.46%Post exploitationlevel0Claude Code未注明 · ? 次尝试未注明来源行日期;含义未明确 · AgentCyberRange website · 执行方: 未注明
Qwen-3.7-Max / Qwen Code 0.16.113.02%Post exploitationlevel0Qwen Code未注明 · ? 次尝试未注明来源行日期;含义未明确 · AgentCyberRange website · 执行方: 未注明
Qwen-3.8-Max / Qwen Code 0.21.1027.64%Post exploitationlevel0Qwen Code未注明 · ? 次尝试未注明来源行日期;含义未明确 · AgentCyberRange website · 执行方: 未注明
Kimi-2.6 / Kimi Code 1.44.05.68%Post exploitationlevel0Kimi Code未注明 · ? 次尝试未注明来源行日期;含义未明确 · AgentCyberRange website · 执行方: 未注明
Kimi-K3 / Kimi Code 0.35.043.9%Post exploitationlevel0Kimi Code未注明 · ? 次尝试未注明来源行日期;含义未明确 · AgentCyberRange website · 执行方: 未注明

范围与归属

数据报告方
AgentCyberRange website
实际评测方
各观测的执行方未完整确定
抓取版本
2026-10-26
来源身份
5344f595968f9c3e

Web 利用与后渗透分别评测。Pass@3 保留官网定义;各行的预算、样本量和执行日期未披露。

来源发现

以下陈述整理自原始来源,未作为 NUWA 独立实验结论。

官方页面称,GPT-5.6 Sol 搭配 Codex 当前在两条任务线上排名第一。榜单记录的 Web 成功率为 35.37%,后渗透成功率为 74.1%,页面分别显示为 35.37% 和 74.10%。

routes-B-0Mubrq.js::az.en.hero.result; QR/0/level0/pass3; $R/0/level0/pass3

结论范围限于原始来源的任务与实验条件;原文定位保留供核查。

总体结果图注针对最初的六系统评测:实线表示 Pass@3 均值,前两名系统的虚线表示 Pass@3 最大值,阴影表示每种步数预算下三次独立运行的最好至最差范围。图注给出的 GPT-5.5 搭配 Codex 的终点值为 Web 16.1%、后渗透 31.7%。这些图注不能直接套用于当前榜单的所有记录。

routes-B-0Mubrq.js::az.en.sections.overall.caption

结论范围限于原始来源的任务与实验条件;原文定位保留供核查。

官方介绍,该基准覆盖 15 个 Web 应用中的 110 个漏洞,以及八个类似企业环境的靶场中的 156 台内部主机。这些是基准范围统计,不能据此推定每条结果的样本分母。

routes-B-0Mubrq.js::az.en.hero.body

结论范围限于原始来源的任务与实验条件;原文定位保留供核查。

提取范围

以下条目说明来源各部分的处理状态。个别观测已核验,不代表整份文档的全部结论和结果均已验证。

查看 18 项覆盖记录
章节处理状态定位与范围
Official homepage HTML shellextractedhomepage.htmlMetadata and modulepreload identify routes-B-0Mubrq.js; the static shell does not contain table cells.
Web leaderboard backing recordsextractedroutes-B-0Mubrq.js::QR11 source-order rows, all 70 numeric fields, including 17 top-level Level-0 aliases; no missing values imputed.
Post leaderboard backing recordsextractedroutes-B-0Mubrq.js::$R13 source-order rows, all 82 numeric fields. Two agent entries (Strix, Pentagi) retained but quarantined because harness version is not disclosed.
Model-keyed version map and per-row overrideextractedroutes-B-0Mubrq.js::ez10 map entries. Explicit GPT-5.5 row agentVersion=0.147.0 overrides model map 0.133.0. No model snapshot/API version disclosed.
Identity, union, formatting, sorting and metadataextractedroutes-B-0Mubrq.js::function hzLevel-0 Pass@3 rendered in both columns; initial sort is Post descending. Submitter and submitted dates are renderer-derived, not evaluation dates.
Step budget summaryqualitativeroutes-B-0Mubrq.js::function hz/summary metricsExact literal summary 150 / 500 retained. Mapping to tracks or specific rows is not established by this renderer; budgets remain null.
Web exploitation success by levelreusedroutes-B-0Mubrq.js::cz18 exact values across Level-0/1/2 and original six models; each verified equal to its QR nested pass3 counterpart.
Post exploitation success by levelreusedroutes-B-0Mubrq.js::sz18 exact values across Level-0/1/2 and original six models; each verified equal to its $R nested pass3 counterpart.
Success rate over execution stepsfigure-onlyroutes-B-0Mubrq.js::az.en.sections.overallOfficial static asset /assets/overall-result-aVhp3QZG.png. Caption describes original six-system evaluation, Pass@3 Avg/Max and three independent runs. Curve datapoints not numerically extracted or estimated.
Overall-figure caption endpointsqualitativeroutes-B-0Mubrq.js::az.en.sections.overall.captionCaption reports GPT-5.5/Codex 16.1% web and 31.7% post for original evaluation. Different context from current leaderboard; retained as claim and conflict, not normalized into leaderboard.
Benchmark scopequalitativeroutes-B-0Mubrq.js::az.en.hero.body / iz110 vulnerabilities/15 web applications; 156 internal hosts/eight ranges; 16 vulnerability classes described in tracks.web.detail. Dataset sizes do not establish row denominators.
Unrendered cost/time fieldsextractedroutes-B-0Mubrq.js::QR; routes-B-0Mubrq.js::$R28 values retained and quarantined: current page gives no units or computation definitions.
Results analysisqualitativeroutes-B-0Mubrq.js::az.en.findingsHigh-level exploration/information-gathering limitation only in derived package prose. Original website source capture retained for provenance; raw task datasets, payloads and credentials are not collected.
Level-0/1/2 protocol definitionsnot-disclosedroutes-B-0Mubrq.js::QR; routes-B-0Mubrq.js::$R; az.en.sections.difficultyLevel labels available, but their precise assistance/condition definitions are not stated in the extracted page; do not infer difficulty ordering or assistance.
Row-specific trials/sample counts/evaluation datesnot-disclosedroutes-B-0Mubrq.js::QR; routes-B-0Mubrq.js::$RNo per-row trials, success numerator/denominator, evaluation date, exact model snapshot, shared-budget guarantee, or shared-sample guarantee. Figure-caption three-run claim is scoped to original figure only.
Linked paperpendinghttps://arxiv.org/abs/2606.14295Dependency linked by official page; paper not opened or extracted in this website data unit.
Architecture figurenot-relevantroutes-B-0Mubrq.js::az.en.sections.archNot needed to extract scoreboard values; no architecture/raw task reconstruction performed.
Citation and affiliationqualitativeroutes-B-0Mubrq.js::oz; az.en.hero.affiliationWebsite cites arXiv:2606.14295, year 2026, and Fudan University. No publication/revision day is inferred.

来源待核实事项

部分智能体记录缺少可核实的版本信息,已排除;当前榜单只纳入显示的 Level-0 Pass@3。

原始结果图与当前榜单的范围不同,图注数值分别保留,不当作同一条件的重复测量。

版本指纹
document

https://agentcyberrange.io/

d1c16a642875aa69e04798a9825870c7e1f7eb589649d659769ba607aa9a4f3b
data

https://agentcyberrange.io/assets/routes-B-0Mubrq.js

a03398a3e2fd33f2c9ccf41d959bbfc5d026238cad938bccf58a49d3c9cc0484
renderer

https://agentcyberrange.io/assets/routes-B-0Mubrq.js

a03398a3e2fd33f2c9ccf41d959bbfc5d026238cad938bccf58a49d3c9cc0484
data

https://agentcyberrange.io/assets/routes-B-0Mubrq.js

04a099d99579b876aa09688f0881a0c412aa9328295e2309f1f578c822ed91d4
renderer

https://agentcyberrange.io/assets/routes-B-0Mubrq.js

36c61bdc2a14e2201c1a36d79373d2f607879abab96fea84f2a352e00a045e6a
document

https://agentcyberrange.io/

3211a260a4489fdaa558a8503439713e58b03c368dddcc9870a0e537e2f7d1c1

参考文献

数值结果由所引研究的作者报告。

  1. [1] AgentCyberRange: Evaluate Agent Cyberattack Capabilities in Enterprise-like Cyber Ranges