NUWA 证据记录
Kimi K2.5
Cybench · 证据记录
原始来源图表与材料
记录指标
- pass@1
- 55%95% CI bars displayed; numeric endpoints not disclosed
原文未披露本结果的样本量
Harness 未注明 · 预算未注明
方法与范围
40 项专业 CTF 任务的完成情况。
- 证据类型
- 可复用基准
- 评测对象
- 完成 CTF 任务的 AI 智能体
- 主观测维度
- Capability · 任务能力
- 证据快照
- 2026-10-29.1
主维度依据来源实际测量的构念；具体指标可能属于其他维度。
来源结论
pass@1：55 percent；保留来源条件。
适用限制
竞赛任务与提供的提示不同于现实攻击条件。
来源转录不等于实验复现。未确定的日期、执行方及配置保留为未知；原文分组不作为经核验排名。 本条限制说明（英文，完整保留）：Pass@1 naming is retained despite a stated three-submission budget. Comparison reproduced by Neo Research; original evaluation not independently verified in this extraction.
相关研究问题
网络安全 / 网络任务执行 →
来源在其协议下直接测量所述构念。
参考文献
- [1] Andy K. Zhang, Neil Perry 等. Cybench: A Framework for Evaluating Cybersecurity Capabilities and Risks of Language Models. 2025-04-12. v4 [arXiv]; Author affiliations on the original paper title page
- [2] Evaluating DeepSeek v4 Pro for Frontier Risks. 2026-05-29. v1.1 · 29 May 2026 ; PDF p. 8; Cybench unguided; pass@1