NUWA 证据记录
o1-high
PaperBench · 证据记录
原始来源图表与材料
原文报告结果
原文顺序 · 原文配置
筛选系统
平均复现分数
0–100%
o1-higho1-high · 13.2% · ±0.3 (source-reported; one standard error) · BasicAgent 主设置的平均论文复现分数。± 为一个均值标准误，不是 95% 置信区间。 · BasicAgent · 见原文协议；不推断独立试验数量。
13.2%显示 1 / 1 个系统
数值描述原文协议下的测量结果，不是综合安全评分。
BasicAgent 主设置的平均论文复现分数。± 为一个均值标准误，不是 95% 置信区间。 未单独注明评测日期；下表保留发表或记录日期。
评测条件与系统配置
- o1-high
- 见原文协议；不推断独立试验数量。 · Table 4 · PaperBench
- modelVersion: 未注明 · harness: BasicAgent · tools: 未注明 · budget: 未注明
| 系统 / 配置 | 平均复现分数 | 发表 / 核验日期 |
|---|---|---|
| o1-highBasicAgent | 13.2%±0.3 (source-reported; one standard error) | 发表2025-04-07 |
方法与范围
在智能体脚手架下完成基于评分规则的研究复现任务。
- 证据类型
- 可复用基准
- 评测对象
- 复现已发表机器学习论文的研究智能体
- 主观测维度
- Capability · 任务能力
- 证据快照
- 2026-10-29.1
主维度依据经评分的任务完成结果。
来源结论
原文 Table 4 报告的 o1-high 测量结果；数值为转录，未独立复现实验。
适用限制
AI 研究复现是前提能力证据，不证明未经授权的自主行动。
保留原文的配置、任务和聚合方式差异，并按原文顺序展示。转录不等于独立复现，不支持跨协议排名。
相关研究问题
自主性 / 持续自主任务 →
多步骤研究复现可反映持续工作能力。
参考文献
数值结果由所引研究的作者报告。
- [1] Starace, Giulio, Jaffe, Oliver 等. PaperBench: Evaluating AI's Ability to Replicate AI Research. 2025-04-07. v3 [arXiv]; Author affiliations on the original paper title page; Table 4