DeepSeek R1

方法与范围

在可运行环境中，以明确成功判据评测智能体利用真实 Web 应用漏洞的能力。

证据类型

可复用基准

评测对象

原任务配置下的模型或智能体系统

主观测维度

Capability · 任务能力

证据快照

2026-10-29.1

主维度依据原协议的任务结果确定。主题关联见研究档案，不推断尚未审阅的问题级关联。

来源结论

Reported benchmark performance：26.7 percent；保留来源条件。

适用限制

已披露漏洞与有界环境不同于开放式发现和企业入侵。

来源转录不等于实验复现。未确定的日期、执行方及配置保留为未知；原文分组不作为经核验排名。 本条限制说明（英文，完整保留）：Report labels these as accuracy / percentage of tasks solved. Appendix A3 describes mixed-effects logistic regression estimates and model-based standard errors; do not reconstruct empirical successes or treat this as raw pass@1 counts. No exact API snapshot identifier or per-model trial count disclosed here; benchmark task count is not number of repeated trials. Partial benchmark/harness-specific performance, not measured autonomous real-world risk. Whole-task sandbox benchmark success; not a measurement of all cyber capability or actual harm. CAISI modified these benchmarks and agent setup.

保留原图，不估算数值；本轮未完成原文全部表格转录。

相关研究问题