评测档案
AgentCyberRange
企业式靶场中的自主网络任务。
研究问题
AgentCyberRange 在企业式靶场中评估自主网络任务,分别设置 Web 利用与后渗透轨道。不同轨道暴露任务的不同环节,帮助区分初始目标与已有起点之后的持续行动。
代表流程:两个任务轨道
Web 轨道按项目定义的 Web 利用任务评测提交系统;后渗透轨道则考察后续靶场目标。这是来源定义的两类任务,并非同一事件的两个可互换分数。
阅读时应关注系统在较长任务的哪个环节推进、又在哪里停止。项目的轨道定义提供了这一语境,排行榜百分比本身无法说明完整行动轨迹。
任务与评分
NUWA 保留项目快照、提交模型及 Harness、轨道、指标和任务级别,每条观测均关联原有配置。下方结果图读取结构化记录,正文不另行抄写可能变化的成绩。
结果解读
两个轨道分别阅读。任务集、模型端点及提交的智能体配置变化都会改变比较含义。固定配置下的表现变化,与完整智能体系统的变化回答不同问题。
跨报告监测
已发表证据
AgentCyberRange · Web 漏洞利用 · Pass@3
跨来源报告的已发表测量。任务范围通过注释区分,配置差异保留在每条观测中。
22 条观测 · 6 已定位日期
- Website's Level-0 web and post-exploitation tracks
- Web exploitation
16 条观测尚无已核实的模型发布日期,可在数据与系统结果中查看。
选择图中数据点或表格行,查看条件与出处。
22 条观测
| 系统/模型 | 结果 | 条件状态 | 任务/条件 | 评测方/报告 | 日期 |
|---|---|---|---|---|---|
| 35.37%Web · Level-0 Pass@3 | 条件不完整 | Website's Level-0 web and post-exploitation tracksCodex 0.144.1 | 未披露AgentCyberRange: Evaluate Agent Cyberattack Capabilities in Enterprise-like Cyber Ranges | 发布 —报告 — | |
| 35.37%成功率(Pass@3) | 条件不完整 | Web exploitationlevel0Codex | 未披露AgentCyberRange: Evaluate Agent Cyberattack Capabilities in Enterprise-like Cyber Ranges | 发布 —报告 — | |
| 26.67%Web · Level-0 Pass@3 | 条件不完整 | Website's Level-0 web and post-exploitation tracksCodex 0.147.0 | 未披露AgentCyberRange: Evaluate Agent Cyberattack Capabilities in Enterprise-like Cyber Ranges | 发布 —报告 — | |
| 26.67%成功率(Pass@3) | 条件不完整 | Web exploitationlevel0Codex | 未披露AgentCyberRange: Evaluate Agent Cyberattack Capabilities in Enterprise-like Cyber Ranges | 发布 2026-04-23报告 — | |
| 24.61%Web · Level-0 Pass@3 | 条件不完整 | Website's Level-0 web and post-exploitation tracksKimi Code 0.35.0 | 未披露AgentCyberRange: Evaluate Agent Cyberattack Capabilities in Enterprise-like Cyber Ranges | 发布 —报告 — | |
| 24.61%成功率(Pass@3) | 条件不完整 | Web exploitationlevel0Kimi Code | 未披露AgentCyberRange: Evaluate Agent Cyberattack Capabilities in Enterprise-like Cyber Ranges | 发布 2026-07-16报告 — | |
| 22.39%Web · Level-0 Pass@3 | 条件不完整 | Website's Level-0 web and post-exploitation tracksQwen Code 0.21.10 | 未披露AgentCyberRange: Evaluate Agent Cyberattack Capabilities in Enterprise-like Cyber Ranges | 发布 —报告 — | |
| 22.39%成功率(Pass@3) | 条件不完整 | Web exploitationlevel0Qwen Code | 未披露AgentCyberRange: Evaluate Agent Cyberattack Capabilities in Enterprise-like Cyber Ranges | 发布 —报告 — | |
| 18.97%Web · Level-0 Pass@3 | 条件不完整 | Website's Level-0 web and post-exploitation tracksCodex 0.133.0 | 未披露AgentCyberRange: Evaluate Agent Cyberattack Capabilities in Enterprise-like Cyber Ranges | 发布 —报告 — | |
| 18.97%成功率(Pass@3) | 条件不完整 | Web exploitationlevel0Codex | 未披露AgentCyberRange: Evaluate Agent Cyberattack Capabilities in Enterprise-like Cyber Ranges | 发布 2026-04-23报告 — | |
| 14.19%Web · Level-0 Pass@3 | 条件不完整 | Website's Level-0 web and post-exploitation tracksClaude Code 2.1.226 | 未披露AgentCyberRange: Evaluate Agent Cyberattack Capabilities in Enterprise-like Cyber Ranges | 发布 —报告 — | |
| 14.19%成功率(Pass@3) | 条件不完整 | Web exploitationlevel0Claude Code | 未披露AgentCyberRange: Evaluate Agent Cyberattack Capabilities in Enterprise-like Cyber Ranges | 发布 2026-04-24报告 — | |
| 14.02%Web · Level-0 Pass@3 | 条件不完整 | Website's Level-0 web and post-exploitation tracksClaude Code 2.1.150 | 未披露AgentCyberRange: Evaluate Agent Cyberattack Capabilities in Enterprise-like Cyber Ranges | 发布 —报告 — | |
| 14.02%成功率(Pass@3) | 条件不完整 | Web exploitationlevel0Claude Code | 未披露AgentCyberRange: Evaluate Agent Cyberattack Capabilities in Enterprise-like Cyber Ranges | 发布 2026-04-16报告 — | |
| 13.51%Web · Level-0 Pass@3 | 条件不完整 | Website's Level-0 web and post-exploitation tracksQwen Code 0.16.1 | 未披露AgentCyberRange: Evaluate Agent Cyberattack Capabilities in Enterprise-like Cyber Ranges | 发布 —报告 — | |
| 13.51%成功率(Pass@3) | 条件不完整 | Web exploitationlevel0Qwen Code | 未披露AgentCyberRange: Evaluate Agent Cyberattack Capabilities in Enterprise-like Cyber Ranges | 发布 —报告 — | |
| 11.97%Web · Level-0 Pass@3 | 条件不完整 | Website's Level-0 web and post-exploitation tracksClaude Code 2.1.150 | 未披露AgentCyberRange: Evaluate Agent Cyberattack Capabilities in Enterprise-like Cyber Ranges | 发布 —报告 — | |
| 11.97%成功率(Pass@3) | 条件不完整 | Web exploitationlevel0Claude Code | 未披露AgentCyberRange: Evaluate Agent Cyberattack Capabilities in Enterprise-like Cyber Ranges | 发布 —报告 — | |
| 10.26%Web · Level-0 Pass@3 | 条件不完整 | Website's Level-0 web and post-exploitation tracksClaude Code 2.1.150 | 未披露AgentCyberRange: Evaluate Agent Cyberattack Capabilities in Enterprise-like Cyber Ranges | 发布 —报告 — | |
| 10.26%成功率(Pass@3) | 条件不完整 | Web exploitationlevel0Claude Code | 未披露AgentCyberRange: Evaluate Agent Cyberattack Capabilities in Enterprise-like Cyber Ranges | 发布 2026-04-24报告 — | |
| 5.81%Web · Level-0 Pass@3 | 条件不完整 | Website's Level-0 web and post-exploitation tracksKimi Code 1.44.0 | 未披露AgentCyberRange: Evaluate Agent Cyberattack Capabilities in Enterprise-like Cyber Ranges | 发布 —报告 — | |
| 5.81%成功率(Pass@3) | 条件不完整 | Web exploitationlevel0Kimi Code | 未披露AgentCyberRange: Evaluate Agent Cyberattack Capabilities in Enterprise-like Cyber Ranges | 发布 —报告 — |
结合任务范围与运行配置解读结果。
METR Time Horizon 1.1 来源已停止积极更新,最后更新于 2026 年 9 月 8 日。超过 16 小时的估计超出其可靠测量范围。
协议、配置与原始证据 →任务与测量
Benchmark 协议档案
- 任务/对象
- AI 智能体完成靶场任务
- 测量目标
- Web 利用与后渗透任务表现;每项提交分别核查配置。
- 评分/结果口径
- Web · Level-0 Pass@3 · 官网报告的 Web 任务 Level-0 Pass@3,保留其原始指标定义。
- 解释边界
- 任务集与提交配置变化,不支持无条件比较。
测量档案 · NUWA 解读
档案区分来源方法阅读与既有目录信息;已经公开不代表完成独立证据复核或双语编辑复核。
- 测量构念
- 智能体能否从有限入口信息自主发现攻击面,并在权限和线索积累后持续决策?
- 任务与样本
- 团队介绍从入口 IP 信息出发,说明早期访问权限与线索如何改变后续可选操作。Web 与后渗透轨道分别呈现。轨迹图同时保留未成功探索和成功推进,展示任务过程,而非只有最终结果。
- 判分与失效情形
- 现有带日期目录保留官网 Level-0 Pass@3 标签,但此次取得的介绍不能独立确定估计方法、每单元试验分母、完整预算和提交配置,新档案对这些字段保持未知。
- 系统条件
- 团队介绍从入口 IP 信息出发,说明早期访问权限与线索如何改变后续可选操作。Web 与后渗透轨道分别呈现。轨迹图同时保留未成功探索和成功推进,展示任务过程,而非只有最终结果。
- 统计含义
- 现有材料尚未确定
- 效度与解释
- 缓存项目页为 JavaScript 外壳;介绍未完整披露评分、预算、模型发布身份及独立运行数。轨迹图不能确立总体发生率,申请使用也不能证明部署或伙伴关系。
- 适用研究问题
- 模型建议:先取得归档基准说明及提交配置,再解释模型差异;当前介绍仅用于任务范围和过程阅读。
- AgentCyberRange: Evaluating autonomous cyber capabilities over long-horizon tasks · 研究问题Research introduction captured 2026-10-27T09:55:41.654036+00:00; sha256:82b125ff6ee2fc02acde66bd7e5debed251334d1db9d88f7831aaae13e267a7f
- AgentCyberRange: Evaluating autonomous cyber capabilities over long-horizon tasks · 长程攻击轨迹:状态与线索复用;失败路径与任务过程;图 2Research introduction captured 2026-10-27T09:55:41.654036+00:00; sha256:82b125ff6ee2fc02acde66bd7e5debed251334d1db9d88f7831aaae13e267a7f
- AgentCyberRange: Evaluating autonomous cyber capabilities over long-horizon tasks · 任务设置与环境:攻击链与状态依赖;环境规模Research introduction captured 2026-10-27T09:55:41.654036+00:00; sha256:82b125ff6ee2fc02acde66bd7e5debed251334d1db9d88f7831aaae13e267a7f
- AgentCyberRange: Evaluating autonomous cyber capabilities over long-horizon tasks · 适用范围Research introduction captured 2026-10-27T09:55:41.654036+00:00; sha256:82b125ff6ee2fc02acde66bd7e5debed251334d1db9d88f7831aaae13e267a7f
- AgentCyberRange: Evaluating autonomous cyber capabilities over long-horizon tasks · 项目与更新Research introduction captured 2026-10-27T09:55:41.654036+00:00; sha256:82b125ff6ee2fc02acde66bd7e5debed251334d1db9d88f7831aaae13e267a7f
跨报告证据
相同 Benchmark 名称可能对应不同任务、计分规则和系统配置。各来源分别保留,比较组说明具体对齐了哪些条件。
AgentCyberRange: Evaluate Agent Cyberattack Capabilities in Enterprise-like Cyber Ranges
AgentCyberRange: Evaluate Agent Cyberattack Capabilities in Enterprise-like Cyber Ranges
实际评测方: 未披露
11 条结果记录 · 11 个报告系统名称
协议与比较依据 (2)
AgentCyberRange website
AgentCyberRange: Evaluate Agent Cyberattack Capabilities in Enterprise-like Cyber Ranges →
实际评测方: 未披露
22 条结果记录 · 11 个报告系统名称
协议与比较依据 (8)
原始来源图表与材料
评测结果
筛选系统与配置
数据报告方: AgentCyberRange website · 实际执行方: 各提交的执行方未完整确定 · 抓取时间: 2026-10-26
Web 利用与后渗透分别评测。Pass@3 保留官网定义;各行的预算、样本量和执行日期未披露。
图表按来源顺序展示 11/11 个系统
成功率(Pass@3) · Web exploitation · level0
- Codex · 预算未注明
GPT-5.5 / Codex 0.133.018.97%Codex · 预算未注明
GPT-5.5 / Codex 0.147.026.67%Codex · 预算未注明- Claude Code · 预算未注明
- Claude Code · 预算未注明
- Claude Code · 预算未注明
- Claude Code · 预算未注明
- Qwen Code · 预算未注明
- Qwen Code · 预算未注明
- Kimi Code · 预算未注明
- Kimi Code · 预算未注明
| 系统 | 结果 | 任务集/模式 | 运行配置 | 日期/归属 |
|---|---|---|---|---|
| 35.37% | Web exploitationlevel0 | Codex未注明 · ? 次尝试 | 未注明来源行日期;含义未明确 · AgentCyberRange website · 执行方: 未注明 | |
| 18.97% | Web exploitationlevel0 | Codex未注明 · ? 次尝试 | 未注明来源行日期;含义未明确 · AgentCyberRange website · 执行方: 未注明 | |
| 26.67% | Web exploitationlevel0 | Codex未注明 · ? 次尝试 | 未注明来源行日期;含义未明确 · AgentCyberRange website · 执行方: 未注明 | |
| 14.02% | Web exploitationlevel0 | Claude Code未注明 · ? 次尝试 | 未注明来源行日期;含义未明确 · AgentCyberRange website · 执行方: 未注明 | |
| 11.97% | Web exploitationlevel0 | Claude Code未注明 · ? 次尝试 | 未注明来源行日期;含义未明确 · AgentCyberRange website · 执行方: 未注明 | |
| 10.26% | Web exploitationlevel0 | Claude Code未注明 · ? 次尝试 | 未注明来源行日期;含义未明确 · AgentCyberRange website · 执行方: 未注明 | |
| 14.19% | Web exploitationlevel0 | Claude Code未注明 · ? 次尝试 | 未注明来源行日期;含义未明确 · AgentCyberRange website · 执行方: 未注明 | |
| 13.51% | Web exploitationlevel0 | Qwen Code未注明 · ? 次尝试 | 未注明来源行日期;含义未明确 · AgentCyberRange website · 执行方: 未注明 | |
| 22.39% | Web exploitationlevel0 | Qwen Code未注明 · ? 次尝试 | 未注明来源行日期;含义未明确 · AgentCyberRange website · 执行方: 未注明 | |
| 5.81% | Web exploitationlevel0 | Kimi Code未注明 · ? 次尝试 | 未注明来源行日期;含义未明确 · AgentCyberRange website · 执行方: 未注明 | |
| 24.61% | Web exploitationlevel0 | Kimi Code未注明 · ? 次尝试 | 未注明来源行日期;含义未明确 · AgentCyberRange website · 执行方: 未注明 | |
| 74.1% | Post exploitationlevel0 | Codex未注明 · ? 次尝试 | 未注明来源行日期;含义未明确 · AgentCyberRange website · 执行方: 未注明 | |
| 31.71% | Post exploitationlevel0 | Codex未注明 · ? 次尝试 | 未注明来源行日期;含义未明确 · AgentCyberRange website · 执行方: 未注明 | |
| 42.07% | Post exploitationlevel0 | Codex未注明 · ? 次尝试 | 未注明来源行日期;含义未明确 · AgentCyberRange website · 执行方: 未注明 | |
| 15.04% | Post exploitationlevel0 | Claude Code未注明 · ? 次尝试 | 未注明来源行日期;含义未明确 · AgentCyberRange website · 执行方: 未注明 | |
| 11.37% | Post exploitationlevel0 | Claude Code未注明 · ? 次尝试 | 未注明来源行日期;含义未明确 · AgentCyberRange website · 执行方: 未注明 | |
| 12.2% | Post exploitationlevel0 | Claude Code未注明 · ? 次尝试 | 未注明来源行日期;含义未明确 · AgentCyberRange website · 执行方: 未注明 | |
| 28.46% | Post exploitationlevel0 | Claude Code未注明 · ? 次尝试 | 未注明来源行日期;含义未明确 · AgentCyberRange website · 执行方: 未注明 | |
| 13.02% | Post exploitationlevel0 | Qwen Code未注明 · ? 次尝试 | 未注明来源行日期;含义未明确 · AgentCyberRange website · 执行方: 未注明 | |
| 27.64% | Post exploitationlevel0 | Qwen Code未注明 · ? 次尝试 | 未注明来源行日期;含义未明确 · AgentCyberRange website · 执行方: 未注明 | |
| 5.68% | Post exploitationlevel0 | Kimi Code未注明 · ? 次尝试 | 未注明来源行日期;含义未明确 · AgentCyberRange website · 执行方: 未注明 | |
| 43.9% | Post exploitationlevel0 | Kimi Code未注明 · ? 次尝试 | 未注明来源行日期;含义未明确 · AgentCyberRange website · 执行方: 未注明 |
评估出处
相关研究问题
网络安全 / 网络任务执行 →
来源在其协议下直接测量所述构念。
参考文献
- [1] AgentCyberRange: Evaluate Agent Cyberattack Capabilities in Enterprise-like Cyber Ranges ; Official project: Web exploitation / Post exploitation tracks; Level-0 submission records; Official leaderboard: Level-0 Pass@3; arrays QR (web), $R (post), version map ez; routes-B-0Mubrq.js::QR/0/level0/pass3
- [2] Kimi Code — What’s New ; Kimi K3 · July 16, 2026
- [3] kimi-k3 developer model card ; Model Summary: Total Parameters; Activated Parameters
- [4] deepseek-v4-pro release ; News article title, dated heading and availability
- [5] deepseek-v4-pro developer model card ; Introduction; model comparison table
- [6] OpenAI — introducing gpt 5 5 ; Publication date and availability section; Parameter counts not disclosed in launch article
- [7] Introducing Claude Opus 4.7 — Anthropic ; Publication date and availability section; Official launch article; parameter counts not disclosed
- [8] deepseek-v4-flash developer model card ; Introduction; model comparison table
- [9] AgentCyberRange: Evaluating autonomous cyber capabilities over long-horizon tasks ; Research introduction: Fudan–Whitzard team