NUWA 评测档案
PaperBench
使用分层评分规则评测 AI 研究论文的端到端复现。
跨报告监测
已发表证据
PaperBench · 平均复现分数
跨来源报告的已发表测量。任务范围通过注释区分，配置差异保留在每条观测中。
6 条观测 · 0 已定位日期
● 条件匹配◇ 配置差异□ 部分条件未披露
6 条观测尚无已核实的模型发布日期，可在数据与系统结果中查看。
选择图中数据点或表格行，查看条件与出处。
6 条观测
| 系统／模型 | 结果 | 条件状态 | 任务／条件 | 评测方／报告 | 日期 |
|---|---|---|---|---|---|
 claude-3.5-sonnet | 21%平均复现分数±0.8 (source-reported; one standard error) | 条件不完整 | Table 4 · PaperBenchBasicAgent | 未披露PaperBench: Evaluating AI's Ability to Replicate AI Research | 发布 —报告 2025-04-07 |
 o1-high | 13.2%平均复现分数±0.3 (source-reported; one standard error) | 条件不完整 | Table 4 · PaperBenchBasicAgent | 未披露PaperBench: Evaluating AI's Ability to Replicate AI Research | 发布 —报告 2025-04-07 |
 DeepSeek-R1 | 6%平均复现分数±0.3 (source-reported; one standard error) | 条件不完整 | Table 4 · PaperBenchBasicAgent | 未披露PaperBench: Evaluating AI's Ability to Replicate AI Research | 发布 —报告 2025-04-07 |
| gpt-4o | 4.1%平均复现分数±0.1 (source-reported; one standard error) | 条件不完整 | Table 4 · PaperBenchBasicAgent | 未披露PaperBench: Evaluating AI's Ability to Replicate AI Research | 发布 —报告 2025-04-07 |
 gemini-2.0-flash | 3.2%平均复现分数±0.2 (source-reported; one standard error) | 条件不完整 | Table 4 · PaperBenchBasicAgent | 未披露PaperBench: Evaluating AI's Ability to Replicate AI Research | 发布 —报告 2025-04-07 |
| o3-mini-high | 2.6%平均复现分数±0.2 (source-reported; one standard error) | 条件不完整 | Table 4 · PaperBenchBasicAgent | 未披露PaperBench: Evaluating AI's Ability to Replicate AI Research | 发布 —报告 2025-04-07 |
结合任务范围与运行配置解读结果。
METR Time Horizon 1.1 来源已停止积极更新，最后更新于 2026 年 9 月 8 日。超过 16 小时的估计超出其可靠测量范围。
协议、配置与原始证据 →任务与测量
Benchmark 协议档案
- 任务／对象
- 复现已发表机器学习论文的研究智能体
- 测量目标
- 在智能体脚手架下完成基于评分规则的研究复现任务。
- 评分／结果口径
- 平均复现分数 · BasicAgent 主设置的平均论文复现分数。± 为一个均值标准误，不是 95% 置信区间。
- 解释边界
- AI 研究复现是前提能力证据，不证明未经授权的自主行动。
一项已报告评测
来源评测 o3-mini-high · Table 4 · PaperBench.
运行配置: BasicAgent.
报告指标: 平均复现分数 · 2.6%.
BasicAgent 主设置的平均论文复现分数。± 为一个均值标准误，不是 95% 置信区间。 见原文协议；不推断独立试验数量。
原文 Table 4 报告的 o3-mini-high 测量结果；数值为转录，未独立复现实验。
测量档案 · NUWA 解读
档案区分来源方法阅读与既有目录信息；已经公开不代表完成独立证据复核或双语编辑复核。
- 测量构念
- 智能体能否从零复现机器学习论文，而非只写貌似合理的实现？
- 任务与样本
- 20篇ICML 2024论文分解为8,316项要求，量表与原作者共同制定，并用JudgeEval核对模型判分。
- 判分与失效情形
- 按8,316要求加权的复现分，不是整篇复现二元比例。
- 系统条件
- 20篇ICML 2024，模型判分及仅部分博士基线。
- 统计含义
- 来源报告的结果表述；这不等同于已确定运行次数、分母或估计方法： 主要实验中Claude 3.5 Sonnet(New)平均复现得分21.0%，o1为13.2%。
- 效度与解释
- 论文选择、自动判分和部分人类基线限制广泛研究自动化结论。
- 适用研究问题
- 模型建议：复用时区分代码开发要求、实际实验执行及完整复现。
- PaperBench: Evaluating AI's Ability to Replicate AI Research · AbstractSelected original resource https://arxiv.org/html/2504.01848v3; sha256:405cc40108adb6b7c7453401ad65c6ef465e2cbc86e896ee3338350fb4f26ac7; archived source capture; exact capture time not independently established
- PaperBench: Evaluating AI's Ability to Replicate AI Research · §3 DatasetSelected original resource https://arxiv.org/html/2504.01848v3; sha256:405cc40108adb6b7c7453401ad65c6ef465e2cbc86e896ee3338350fb4f26ac7; archived source capture; exact capture time not independently established
- PaperBench: Evaluating AI's Ability to Replicate AI Research · §4 LLM JudgeSelected original resource https://arxiv.org/html/2504.01848v3; sha256:405cc40108adb6b7c7453401ad65c6ef465e2cbc86e896ee3338350fb4f26ac7; archived source capture; exact capture time not independently established
- PaperBench: Evaluating AI's Ability to Replicate AI Research · §5.2 Main ExperimentSelected original resource https://arxiv.org/html/2504.01848v3; sha256:405cc40108adb6b7c7453401ad65c6ef465e2cbc86e896ee3338350fb4f26ac7; archived source capture; exact capture time not independently established
- PaperBench: Evaluating AI's Ability to Replicate AI Research · §5.4 Human Baseline PerformanceSelected original resource https://arxiv.org/html/2504.01848v3; sha256:405cc40108adb6b7c7453401ad65c6ef465e2cbc86e896ee3338350fb4f26ac7; archived source capture; exact capture time not independently established
跨报告证据
相同 Benchmark 名称可能对应不同任务、计分规则和系统配置。各来源分别保留，比较组说明具体对齐了哪些条件。
PaperBench: Evaluating AI's Ability to Replicate AI Research
PaperBench: Evaluating AI's Ability to Replicate AI Research
实际评测方: 未披露
6 条结果记录 · 6 个报告系统名称
协议与比较依据 (1)
PaperBench：平均复现分数 · PaperBench: Evaluating AI's Ability to Replicate AI Researchsource-report · 范围已审查
原始来源图表与材料
原文报告结果
原文顺序 · 原文配置
筛选系统
平均复现分数
0–100%o3-mini-higho3-mini-high · 2.6% · ±0.2 (source-reported; one standard error) · BasicAgent 主设置的平均论文复现分数。± 为一个均值标准误，不是 95% 置信区间。 · BasicAgent · 见原文协议；不推断独立试验数量。
2.6%gpt-4ogpt-4o · 4.1% · ±0.1 (source-reported; one standard error) · BasicAgent 主设置的平均论文复现分数。± 为一个均值标准误，不是 95% 置信区间。 · BasicAgent · 见原文协议；不推断独立试验数量。
4.1%gemini-2.0-flashgemini-2.0-flash · 3.2% · ±0.2 (source-reported; one standard error) · BasicAgent 主设置的平均论文复现分数。± 为一个均值标准误，不是 95% 置信区间。 · BasicAgent · 见原文协议；不推断独立试验数量。
3.2%DeepSeek-R1DeepSeek-R1 · 6.0% · ±0.3 (source-reported; one standard error) · BasicAgent 主设置的平均论文复现分数。± 为一个均值标准误，不是 95% 置信区间。 · BasicAgent · 见原文协议；不推断独立试验数量。
6.0%o1-higho1-high · 13.2% · ±0.3 (source-reported; one standard error) · BasicAgent 主设置的平均论文复现分数。± 为一个均值标准误，不是 95% 置信区间。 · BasicAgent · 见原文协议；不推断独立试验数量。
13.2%claude-3.5-sonnetclaude-3.5-sonnet · 21.0% · ±0.8 (source-reported; one standard error) · BasicAgent 主设置的平均论文复现分数。± 为一个均值标准误，不是 95% 置信区间。 · BasicAgent · 见原文协议；不推断独立试验数量。
21.0%显示 6 / 6 个系统
数值描述原文协议下的测量结果，不是综合安全评分。
BasicAgent 主设置的平均论文复现分数。± 为一个均值标准误，不是 95% 置信区间。 未单独注明评测日期；下表保留发表或记录日期。
评测条件与系统配置
- o3-mini-high
- 见原文协议；不推断独立试验数量。 · Table 4 · PaperBench
- modelVersion: 未注明 · harness: BasicAgent · tools: 未注明 · budget: 未注明
- gpt-4o
- 见原文协议；不推断独立试验数量。 · Table 4 · PaperBench
- modelVersion: 未注明 · harness: BasicAgent · tools: 未注明 · budget: 未注明
- gemini-2.0-flash
- 见原文协议；不推断独立试验数量。 · Table 4 · PaperBench
- modelVersion: 未注明 · harness: BasicAgent · tools: 未注明 · budget: 未注明
- DeepSeek-R1
- 见原文协议；不推断独立试验数量。 · Table 4 · PaperBench
- modelVersion: 未注明 · harness: BasicAgent · tools: 未注明 · budget: 未注明
- o1-high
- 见原文协议；不推断独立试验数量。 · Table 4 · PaperBench
- modelVersion: 未注明 · harness: BasicAgent · tools: 未注明 · budget: 未注明
- claude-3.5-sonnet
- 见原文协议；不推断独立试验数量。 · Table 4 · PaperBench
- modelVersion: 未注明 · harness: BasicAgent · tools: 未注明 · budget: 未注明
| 系统 / 配置 | 平均复现分数 | 发表 / 核验日期 |
|---|---|---|
| o3-mini-highBasicAgent | 2.6%±0.2 (source-reported; one standard error) | 发表2025-04-07 |
| gpt-4oBasicAgent | 4.1%±0.1 (source-reported; one standard error) | 发表2025-04-07 |
| gemini-2.0-flashBasicAgent | 3.2%±0.2 (source-reported; one standard error) | 发表2025-04-07 |
| DeepSeek-R1BasicAgent | 6.0%±0.3 (source-reported; one standard error) | 发表2025-04-07 |
| o1-highBasicAgent | 13.2%±0.3 (source-reported; one standard error) | 发表2025-04-07 |
| claude-3.5-sonnetBasicAgent | 21.0%±0.8 (source-reported; one standard error) | 发表2025-04-07 |
相关研究问题
自主性 / 持续自主任务 →
多步骤研究复现可反映持续工作能力。
参考文献
数值结果由所引研究的作者报告。
- [1] Starace, Giulio, Jaffe, Oliver 等. PaperBench: Evaluating AI's Ability to Replicate AI Research. 2025-04-07. v3 [arXiv]; Author affiliations on the original paper title page; Table 4