NUWA 证据记录
gpt-4o-2024-08-06 · MLAB
MLE-bench · 证据记录
原始来源图表与材料
原文报告结果
原文顺序 · 原文配置
筛选系统
任一奖牌比例
0–100%
gpt-4o-2024-08-06 · MLABgpt-4o-2024-08-06 · MLAB · 0.8% · ±0.5 (source-reported; one standard error) · 表 2 的脚手架与模型实验。一般为 3 个种子；AIDE 的 o1-preview 为 16 个，GPT-4o 为 36 个。± 为一个均值标准误。 · 见原文协议；不推断独立试验数量。
0.8%显示 1 / 1 个系统
数值描述原文协议下的测量结果，不是综合安全评分。
表 2 的脚手架与模型实验。一般为 3 个种子；AIDE 的 o1-preview 为 16 个，GPT-4o 为 36 个。± 为一个均值标准误。 未单独注明评测日期；下表保留发表或记录日期。
评测条件与系统配置
- gpt-4o-2024-08-06 · MLAB
- 见原文协议；不推断独立试验数量。 · Table 2 · MLE-bench
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
| 系统 / 配置 | 任一奖牌比例 | 提交比例 | 有效提交比例 | 高于中位数比例 | 发表 / 核验日期 |
|---|---|---|---|---|---|
| gpt-4o-2024-08-06 · MLAB未注明 Harness | 0.8%±0.5 (source-reported; one standard error) | 65.6%±2.5 (source-reported; one standard error) | 44.3%±2.6 (source-reported; one standard error) | 1.9%±0.7 (source-reported; one standard error) | 来源核验2026-10-25 |
方法与范围
通过竞赛任务和人类表现基线评测自主机器学习工程能力。
- 证据类型
- 可复用基准
- 评测对象
- 原任务配置下的模型或智能体系统
- 主观测维度
- Capability · 任务能力
- 证据快照
- 2026-10-29.1
主维度依据原协议的任务结果确定。主题关联见研究档案，不推断尚未审阅的问题级关联。
来源结论
原文 Table 2 报告的 gpt-4o-2024-08-06 · MLAB 测量结果；数值为转录，未独立复现实验。
适用限制
竞赛表现是部分 AI 研发能力的代理指标，不能直接衡量递归自我改进。
保留原文的配置、任务和聚合方式差异，并按原文顺序展示。转录不等于独立复现，不支持跨协议排名。
相关研究问题
参考文献
数值结果由所引研究的作者报告。
- [1] Chan Jun Shern, Neil Chowdhury 等. MLE-bench: Evaluating Machine Learning Agents on Machine Learning Engineering. 2024-10-09. v6 [arXiv]; Author affiliations on the original paper title page; Table 2