SWE-Bench Pro

档案区分来源方法阅读与既有目录信息；已经公开不代表完成独立证据复核或双语编辑复核。

测量构念

编程智能体能否解决更长的企业式仓库问题？

任务与样本

41仓库1,865问题分公开、保留与商业子集，配人工增强规格和可执行检查。

判分与失效情形

按公开、保留、商业子集计pass@1解决率。

系统条件

41仓库1,865任务，人工增强规格。

统计含义

来源报告的结果表述；这不等同于已确定运行次数、分母或估计方法： 所报公开解决率Sonnet 4.5为43.6%，GPT-5 high为41.8%。 商业集最佳仍低于20%，子集难度明显不同。

效度与解释

语言覆盖不均，历史仓库与人工增强影响任务定义（§7.1）。

适用研究问题

模型建议：引用子集、框架与pass@1分母，不无条件对比其他SWE-bench版本。

• SWE-Bench Pro · AbstractSelected original resource https://arxiv.org/html/2509.16941; sha256:5694b2eb822d6fb6ea23c29191cf4c29e3357d0b0547b362e7393d1ef0e4919d; archived source capture; exact capture time not independently established
• SWE-Bench Pro · §3.3 Public, Commercial, and Held-Out SWE-Bench ProSelected original resource https://arxiv.org/html/2509.16941; sha256:5694b2eb822d6fb6ea23c29191cf4c29e3357d0b0547b362e7393d1ef0e4919d; archived source capture; exact capture time not independently established
• SWE-Bench Pro · §5 ResultsSelected original resource https://arxiv.org/html/2509.16941; sha256:5694b2eb822d6fb6ea23c29191cf4c29e3357d0b0547b362e7393d1ef0e4919d; archived source capture; exact capture time not independently established
• SWE-Bench Pro · §7.1 LimitationsSelected original resource https://arxiv.org/html/2509.16941; sha256:5694b2eb822d6fb6ea23c29191cf4c29e3357d0b0547b362e7393d1ef0e4919d; archived source capture; exact capture time not independently established