NUWA 选择合适的测量工具
先比较 2–4 项协议的设计，再解释它们的结果。现有材料无法确定的方法信息保持为明确缺口。
此处比较测量设计；不同协议的成绩不排序、不合并。
| 测量设计 | CyberGymarXiv:2506.02548v3 | CybencharXiv:2408.08926v4 | AgentCyberRangeWebsite bundle routes-B-0Mubrq.js / 2026-10-24 capture |
|---|---|---|---|
| 阅读与编辑范围 | 已公开的模型辅助解读 · 独立复核待完成 | 已公开的模型辅助解读 · 独立复核待完成 | 已公开的模型辅助解读 · 独立复核待完成 |
| 测量对象 | 智能体能否规模化复现历史真实漏洞？提供的信息、模型和智能体配置如何改变这一能力？ | 语言模型智能体能够完成怎样的多步安全任务？提供中间目标后，哪些步骤仍困难？ | 智能体能否从有限入口信息自主发现攻击面，并在权限和线索积累后持续决策？ |
| 任务与样本 | 历史 OSS-Fuzz 案例经描述质量、可复现性及去重过滤。智能体获得代码与可执行文件，提交候选输入并利用执行反馈迭代。主要难度提供漏洞描述，其他难度去除描述或增加栈轨迹和补丁。范围主要是 C/C++ 项目中可由 sanitizer 检出的内存安全问题。 | CTF 任务在容器环境中提供说明、本地或远程材料及验收器，覆盖多类问题和首次解出时间。无指导模式只给总目标；子任务模式逐步提供中间问题，每步有有限尝试预算。基线智能体以行动、执行、更新记忆的循环工作，只保留较短近期历史。 | 团队介绍从入口 IP 信息出发，说明早期访问权限与线索如何改变后续可选操作。Web 与后渗透轨道分别呈现。轨迹图同时保留未成功探索和成功推进，展示任务过程，而非只有最终结果。 |
| 判分与成功标准 | 成功须同时满足漏洞版本触发 sanitizer 错误、修复版本不触发 sanitizer 错误。成功率的分母是实际评测实例；困难子集、随机子集与全集不同。过程反馈不能等同于最终验收。 | 无指导完成与最终指导完成均为二元终点；子任务表现是中间问题成功比例，按任务宏平均。表 2 是单次尝试，表 3 取多次尝试最大值。完成依赖正确提交或唯一成功标记。 | 现有带日期目录保留官网 Level-0 Pass@3 标签，但此次取得的介绍不能独立确定估计方法、每单元试验分母、完整预算和提交配置，新档案对这些字段保持未知。 |
| 系统与资源条件 | 历史 OSS-Fuzz 案例经描述质量、可复现性及去重过滤。智能体获得代码与可执行文件，提交候选输入并利用执行反馈迭代。主要难度提供漏洞描述，其他难度去除描述或增加栈轨迹和补丁。范围主要是 C/C++ 项目中可由 sanitizer 检出的内存安全问题。 | CTF 任务在容器环境中提供说明、本地或远程材料及验收器，覆盖多类问题和首次解出时间。无指导模式只给总目标；子任务模式逐步提供中间问题，每步有有限尝试预算。基线智能体以行动、执行、更新记忆的循环工作，只保留较短近期历史。 | 团队介绍从入口 IP 信息出发，说明早期访问权限与线索如何改变后续可选操作。Web 与后渗透轨道分别呈现。轨迹图同时保留未成功探索和成功推进，展示任务过程，而非只有最终结果。 |
| 统计含义 | §4 表 2 保留截止日期分组的成功分子、分母及 Fisher 精确检验、双比例 Z 检验；不显著不等于等效，其他区间需随各来源记录保留。 | 表 2 是单次尝试，表 3 取三次最佳；子任务采用宏平均，并非所有问题的合并比例。未披露的区间端点保持未知。 | 现有材料尚未确定 |
| 效度与限制 | 覆盖偏向 sanitizer 可见的内存安全与可得的 OSS-Fuzz/ARVO 数据。描述过滤及改写使用模型，并以抽样人工检查评估质量。公开代码和报告带来污染不确定性，更多提示会改变任务；后续报告改变预算或脚手架不能视为仅模型变化的受控提升。 | 竞赛题刻意设计为可解，通常较短且代码量小，不代表大型系统中的意外漏洞。不同竞赛计时存在差别；有限记忆、迭代和重复限制了基线。后续子集与 Harness 需要独立版本。 | 缓存项目页为 JavaScript 外壳；介绍未完整披露评分、预算、模型发布身份及独立运行数。轨迹图不能确立总体发生率，申请使用也不能证明部署或伙伴关系。 |
| 适用研究问题 | 模型建议：同时保留漏洞触发与修复干净验收，标明任务子集、信息难度、预算和智能体设置。 | 模型建议：先确定终点，再比较系统，并显示指导方式和尝试规则，不把 CTF 完成率换算为现实攻陷概率。 | 模型建议：先取得归档基准说明及提交配置，再解释模型差异；当前介绍仅用于任务范围和过程阅读。 |