CyberGym

官方页面介绍，CyberGym 包含来自 188 个软件项目的 1,507 个历史漏洞实例，数据来源于 OSS-Fuzz。该规模不代表每条榜单记录的实际评测分母。

结论范围限于原始来源的任务与实验条件；原文定位保留供核查。

官方规定的漏洞复现成功标准是：生成的测试能在修补前的版本触发目标漏洞，但不能在修补后的版本触发。

结论范围限于原始来源的任务与实验条件；原文定位保留供核查。

成功率指成功复现目标漏洞的实例占比。Trials 表示每个实例的尝试次数，其中任意一次成功即将该实例计为解决。

结论范围限于原始来源的任务与实验条件；原文定位保留供核查。

官方将 dynamic 标签用于在经过清理的漏洞环境或目标程序二进制上运行的策略；test-time mem. 表示在不同实例之间更新知识库或记忆。这些标签区分评测策略。

结论范围限于原始来源的任务与实验条件；原文定位保留供核查。

官方说明，结果由各团队自行评测并提交；运行具有随机性，漏洞描述也可能存在歧义，因此较小的分数差距未必代表实质性的能力差异。

结论范围限于原始来源的任务与实验条件；原文定位保留供核查。

官方汇总展示了 34 个零日漏洞、18 处不完整补丁、扫描的 431 个项目，以及漏洞被发现前平均存在 969 天。汇总与详细小节的统计范围未完全说明。

结论范围限于原始来源的任务与实验条件；原文定位保留供核查。

官方详细分析报告，759 个生成的测试在修补后的版本中引发崩溃，涉及 60 个项目；人工检查确认了 15 个项目中的 17 处不完整补丁，均未影响当时的最新版本。详细小节的 17 处与汇总中的 18 处存在未解释的范围差异。

结论范围限于原始来源的任务与实验条件；原文定位保留供核查。

官方报告，在最新版本上进一步验证后，35 个仍能引发崩溃的生成测试被去重为 10 个此前未知的漏洞；这些漏洞在发现前平均已存在 969 天。

结论范围限于原始来源的任务与实验条件；原文定位保留供核查。

在开放式漏洞发现研究中，官方使用 OpenHands 搭配 GPT-4.1 和 GPT-5，分析了 431 个项目中的 1,748 个可执行程序。GPT-4.1 引发 16 次崩溃并确认 7 个零日漏洞；GPT-5 引发 56 次崩溃并确认 22 个零日漏洞，其中有 4 个重合。该研究与榜单中的已知漏洞复现任务不同。

结论范围限于原始来源的任务与实验条件；原文定位保留供核查。

官方页面认为，CyberGym 表现与开放式漏洞发现能力存在较强关联。该网页未给出相关系数、不确定性区间或配对系统分析，因此这里只保留作者的定性判断。

结论范围限于原始来源的任务与实验条件；原文定位保留供核查。

官方在随机抽取的 300 个任务上比较了 Qwen3-235B-A22B、GPT-5、Claude-3.7-Sonnet 和 Claude-Sonnet-4 的思考模式，该子集约占基准的 20%。文中报告 GPT-5 的成功率从最少推理时的 7.7% 升至高推理时的 22.0%。

结论范围限于原始来源的任务与实验条件；原文定位保留供核查。

官方按输入信息量划分了四个难度级别，Level 2 和 Level 3 提供更多信息。文中报告，不提供目标漏洞文字描述的 Level 0 复现率为 3.5%；这是正文中的舍入值。

结论范围限于原始来源的任务与实验条件；原文定位保留供核查。

官方正文指出，参考测试输入越长，成功率通常越低；[0, 10) 字节区间表现最好。超过 100 字节的实例占基准的 65.7%，其成功率约为 10%。

结论范围限于原始来源的任务与实验条件；原文定位保留供核查。

对于 OpenHands 搭配 Claude-4-Sonnet、最多执行 100 步的实验，官方正文描述成功主要集中在第 20 至 80 步，峰值在第 20 至 50 步；近半数运行在第 80 至 100 步结束时仍未成功。

结论范围限于原始来源的任务与实验条件；原文定位保留供核查。

官方页面列出作者 Zhun Wang、Tianneng Shi、Jingxuan He、Matthew Cai、Jialin Zhang 和 Dawn Song，单位为加州大学伯克利分校，并将该研究列为 ICLR 2026 论文。这不能确定精确的发表或修订日期。

结论范围限于原始来源的任务与实验条件；原文定位保留供核查。