NUWA 研究分析 · 模型辅助整理 · 独立复核待完成

推理预算改变可观察的网络能力

监测模型能力时应同时追踪任务范围与推理资源；更高的观测结果可能来自预算、Harness 或模型本身的变化。

证据快照 2026-10-28.2 · 2026-10-27

证据与论证

SaferAI 将 CyberGym 定义为漏洞复现，并按 Lyptus 方法选择 Level 1 困难任务：从 122 项样本中保留具有比较数据的 101 项。来源正文报告 GLM-5.2 成功率从 2M token 时的 36.6% 升至 50M 时的 76.2%，条件记录保留各自印出的精度。GLM 运行由 SaferAI 执行，GPT-5.5 与 Opus 4.6 比较值由 Lyptus 数据计算。任务身份相同不能消除执行差异，Wilson 区间重叠也不能证明等效。

同一模型的预算差异较大

SaferAI 报告，在其 CyberGym 困难任务子集中，GLM-5.2 的漏洞复现率从 2M token 时的 36.6% 增至 50M token 时的 76.2%。

来源发现

2 条支撑观测

GLM-5.2 · CyberGym Level 1 hard-task matched subset · p.8 Fig.3 printed bar label
GLM-5.2 · CyberGym Level 1 hard-task matched subset · p.8 Fig.3 printed bar label

GLM-5.2 Risk Evaluation Report · §2.2–2.3, PDF pp.7–9; Figure 3; §2.3 PDF p.9 explicitly reports 36.6% and 76.2%; Figure 3 counts retained separately

共同任务子集提高比较的解释力

101 项共同任务的比较保留实际执行归属：GLM-5.2 来自 SaferAI，GPT-5.5 与 Opus 4.6 来自 Lyptus；运行设置随记录保留。

来源发现

6 条支撑观测

GLM-5.2 · CyberGym Level 1 hard-task matched subset · p.8 Fig.3 printed bar label
GLM-5.2 · CyberGym Level 1 hard-task matched subset · p.8 Fig.3 printed bar label
GLM-5.2 · CyberGym Level 1 hard-task matched subset · p.8 Fig.3 printed bar label
GPT-5.5 · CyberGym Level 1 hard-task matched subset · p.8 Fig.3 printed bar label
GPT-5.5 · CyberGym Level 1 hard-task matched subset · p.8 Fig.3 printed bar label
Claude Opus 4.6 · CyberGym Level 1 hard-task matched subset · p.8 Fig.3 printed bar label

GLM-5.2 Risk Evaluation Report · SaferAI §2.2, pp.7–8; common101tasks; each plotted run retains execution origin

Lyptus Cyber Task Horizons: aggregate model runs · SaferAI §2.2, pp.7–8; common101tasks; each plotted run retains execution origin

漏洞复现与攻击推进回答不同问题

CyberGym 与 Cybench、AgentCyberRange 提供互补证据；不同任务范围与尝试规则分别展示。

NUWA 解读

CyberGym: Evaluating AI Agents’ Real-World Cybersecurity Capabilities at Scale · CyberGym §3.2; Cybench §2.4; AgentCyberRange适用范围

Cybench: A Framework for Evaluating Cybersecurity Capabilities and Risks of Language Models · CyberGym §3.2; Cybench §2.4; AgentCyberRange适用范围

AgentCyberRange: Evaluating autonomous cyber capabilities over long-horizon tasks · CyberGym §3.2; Cybench §2.4; AgentCyberRange适用范围

局限与待验证假设

来源报告 95% Wilson 区间存在重叠；图中未印出精确端点，因此不转录端点。本图是任务匹配的描述性比较，不构成严格条件匹配的模型排名。

后续研究问题

先解析不同报告的协议字段；核实模型身份、任务版本、尝试次数、脚手架和预算后，再开展条件匹配比较。

参考文献

[1] GLM-5.2 Risk Evaluation Report. 2026-08-02. v1.1 · revised 26 August 2026 ; §2.2–2.3, PDF pp.7–9; Figure3
[2] Lyptus Cyber Task Horizons: aggregate model runs ; Source data used by SaferAI for comparison values