证据记录
GPT-5.5
CyberGym · 证据记录
原始来源图表与材料
记录指标
- CyberGym pass@1
- 55.45%
56/101
Harness 未注明 · 2M tokens per task
评估出处
GLM-5.2 Risk Evaluation Report → · 外部报告
实际评测: Lyptus Research · 模型档案 →
方法与范围
历史漏洞集合中的经验证复现表现。
- 证据类型
- 可复用基准
- 评测对象
- 复现历史漏洞的 AI 智能体
- 主观测维度
- Capability · 任务能力
- 证据快照
- 2026-10-29.1
主维度依据来源实际测量的构念;具体指标可能属于其他维度。
来源结论
来源报告 56/101。展示的 55.45% 由 NUWA 根据这些计数换算,保留两位小数。
适用限制
漏洞复现的范围小于对部署系统的自主入侵。
来源转录不等于实验复现。未确定的日期、执行方及配置保留为未知;原文分组不作为经核验排名。 本条限制说明(英文,完整保留):122 GLM tasks run; comparison restricted to 101 matched tasks. Nineteen tasks lacked comparator coverage; two tasks excluded as defective. Hard-task selection not representative of all 1507 tasks.
保留原图,不估算数值;本轮未完成原文全部表格转录。
相关研究问题
网络安全 / 漏洞复现 →
来源在其协议下直接测量所述构念。
参考文献
- [1] Zhun Wang, Tianneng Shi 等. CyberGym: Evaluating AI Agents' Real-World Cybersecurity Capabilities at Scale. 2026-03-24. v3 [arXiv]; Author affiliations on the original paper title page; Figure 2
- [2] GLM-5.2 Risk Evaluation Report. 2026-08-02. v1.1 · revised 26 August 2026 ; p.8 Fig.3 printed bar label