风险评测 · 评测基准

SWE-Bench Pro: Can AI Agents Solve Long-Horizon Software Engineering Tasks?

NUWA 研究解读 · 独立复核待完成

首次发表: 发表日期尚未核实来源核验: 2026-10-25

原始来源 ↗引用本记录 ↓自主性 →

NUWA Research Note

研究问题研究设计与假设来源发现 NUWA 解读局限与相反证据研究与决策意义机构与角色原始资源

模型辅助整理 · 选读原始全文或官方文章中的相关章节；尚未完成逐章节审计。

研究速读

NUWA 解读：公开与专有企业集必须保持不同总体。

研究问题

编程智能体能否解决更长的企业式仓库问题？

研究设计与假设

41仓库1,865问题分公开、保留与商业子集，配人工增强规格和可执行检查。

来源发现

所报公开解决率Sonnet 4.5为43.6%，GPT-5 high为41.8%。

商业集最佳仍低于20%，子集难度明显不同。

NUWA 解读

NUWA 解读：公开与专有企业集必须保持不同总体。

局限与相反证据

语言覆盖不均，历史仓库与人工增强影响任务定义（§7.1）。

研究与决策意义

模型建议：引用子集、框架与pass@1分母，不无条件对比其他SWE-bench版本。

精确来源位置

SWE-Bench Pro · AbstractSelected original resource https://arxiv.org/html/2509.16941; sha256:5694b2eb822d6fb6ea23c29191cf4c29e3357d0b0547b362e7393d1ef0e4919d; archived source capture; exact capture time not independently established
SWE-Bench Pro · §3.3 Public, Commercial, and Held-Out SWE-Bench ProSelected original resource https://arxiv.org/html/2509.16941; sha256:5694b2eb822d6fb6ea23c29191cf4c29e3357d0b0547b362e7393d1ef0e4919d; archived source capture; exact capture time not independently established
SWE-Bench Pro · §5 ResultsSelected original resource https://arxiv.org/html/2509.16941; sha256:5694b2eb822d6fb6ea23c29191cf4c29e3357d0b0547b362e7393d1ef0e4919d; archived source capture; exact capture time not independently established
SWE-Bench Pro · §7.1 LimitationsSelected original resource https://arxiv.org/html/2509.16941; sha256:5694b2eb822d6fb6ea23c29191cf4c29e3357d0b0547b362e7393d1ef0e4919d; archived source capture; exact capture time not independently established

来源核查、数据提取、编辑批准与实验复现分别记录。方法说明 →

机构与角色

原文未注明机构

评测协议

SWE-Bench Pro →

引用与复用

引用研究发现时请引用原始出版物；引用 NUWA 的整理与解释时，单独引用本站记录及对应快照。

BibTeX ↓RIS ↓记录与来源元数据 · JSON ↓阅读覆盖 · JSON 提交更正

原始出版物 · BibTeX

@misc{swe-bench-pro,
  title = {SWE-Bench Pro: Can AI Agents Solve Long-Horizon Software Engineering Tasks?},
  url = {https://arxiv.org/abs/2509.16941},
  version = {2026-10-25 source capture},
  note = {2026-10-25 source capture}
}

NUWA 记录 · BibTeX

@misc{swe-bench-pro-nuwa,
  title = {SWE-Bench Pro: Can AI Agents Solve Long-Horizon Software Engineering Tasks? — NUWA research record},
  url = {https://whitzard.tech/nuwa/whitzard-index/work/swe-bench-pro/},
  version = {2026-10-29.1},
  organization = {NUWA Frontier AI Safety Lab},
  howpublished = {Retained note edition: https://whitzard.tech/nuwa/whitzard-index/data/record-editions/2026-10-29.1--swe-bench-pro.json},
  note = {NUWA research note. Source-reading scope and independent review status are stated on the record. Snapshot 2026-10-29.1. Retained note edition: https://whitzard.tech/nuwa/whitzard-index/data/record-editions/2026-10-29.1--swe-bench-pro.json.}
}

证据快照 2026-10-29.1 · 索引更新 · RSS

参考文献

[1] SWE-Bench Pro ; Abstract; §3.3 Public, Commercial, and Held-Out SWE-Bench Pro; §5 Results