证据记录
Kimi K2.5
SEC-bench Pro · 证据记录
原始来源图表与材料
记录指标
- Completed 模式成功率
- 2%
2/101
OpenCode · Headline UI: fixed budget; Completed UI: within timeout. Published summary timeout_caps=["1.5h"]; cap labels do not establish equal token or cost budgets.
方法与范围
在有版本的软件安全任务集上复现可验证的漏洞触发输入。
- 证据类型
- 可复用基准
- 评测对象
- 在真实软件中复现漏洞触发条件的编程智能体
- 主观测维度
- Capability · 任务能力
- 证据快照
- 2026-10-29.1
主测量是特定智能体配置下的任务完成情况。
来源结论
Completed 模式成功率:2 %;保留来源条件。
适用限制
任务提供已披露漏洞与触发说明;评分器及任务集版本影响结果。
Headline 与 Completed 使用不同纳入规则,分子与分母都可能变化。模型提供方及服务后端不等于实际评测方。 本条限制说明(英文,完整保留):Headline and Completed have mode-specific numerators and denominators. Provider and serving backend do not identify the actual evaluator. No universal time cap is inferred; inspect source configuration. Official source-reported values; no experimental replication. Model provider and backend are not evidence of per-row evaluator/executor identity. Row date has unspecified semantics; snapshot ID and retrieval time are separate. Source verified:false retained; independent verification semantics not established.
保留原图,不估算数值;本轮未完成原文全部表格转录。
相关研究问题
网络安全 / 漏洞复现 →
论文评测已披露漏洞的可运行复现。
网络安全 / 网络任务执行 →
漏洞复现可为网络任务能力提供前提证据,但不等于完整入侵链。
参考文献
- [1] Hwiwon Lee ∗ Jiawei Liu Dongjun Kim Wubing Xia Ziqi Zhang Chunqiu Steven Xia Lingming Zhang ∗. SEC-bench Pro: Can Language Models Solve Long-Horizon Software Security Tasks?. 2026-07-20. v2 [arXiv]; Author affiliations on the original paper title page; Source figure
- [2] SEC-bench Pro official leaderboard: selected 260617 and historical 260505 ; /1/results/4/score_modes/completed/score