DeepSeek R1-0528

方法与范围

40 项专业 CTF 任务的完成情况。

证据类型

可复用基准

评测对象

完成 CTF 任务的 AI 智能体

主观测维度

Capability · 任务能力

证据快照

2026-10-29.1

主维度依据来源实际测量的构念；具体指标可能属于其他维度。

来源结论

Reported benchmark performance：35.5 percent；保留来源条件。

适用限制

竞赛任务与提供的提示不同于现实攻击条件。

来源转录不等于实验复现。未确定的日期、执行方及配置保留为未知；原文分组不作为经核验排名。 本条限制说明（英文，完整保留）：Report labels these as accuracy / percentage of tasks solved. Appendix A3 describes mixed-effects logistic regression estimates and model-based standard errors; do not reconstruct empirical successes or treat this as raw pass@1 counts. No exact API snapshot identifier or per-model trial count disclosed here; benchmark task count is not number of repeated trials. Partial benchmark/harness-specific performance, not measured autonomous real-world risk. Whole-task sandbox benchmark success; not a measurement of all cyber capability or actual harm. CAISI modified these benchmarks and agent setup.

相关研究问题