NUWA 评测档案
MLE-bench
通过竞赛任务和人类表现基线评测自主机器学习工程能力。
跨报告监测
已发表证据
MLE-bench · 提交比例
跨来源报告的已发表测量。任务范围通过注释区分，配置差异保留在每条观测中。
6 条观测 · 0 已定位日期
● 条件匹配◇ 配置差异□ 部分条件未披露
6 条观测尚无已核实的模型发布日期，可在数据与系统结果中查看。
选择图中数据点或表格行，查看条件与出处。
6 条观测
| 系统／模型 | 结果 | 条件状态 | 任务／条件 | 评测方／报告 | 日期 |
|---|---|---|---|---|---|
 o1-preview · AIDE | 98.4%提交比例±0.4 (source-reported; one standard error) | 条件不完整 | Table 2 · MLE-bench— | 未披露MLE-bench: Evaluating Machine Learning Agents on Machine Learning Engineering | 发布 —报告 — |
| gpt-4o-2024-08-06 · AIDE | 70.7%提交比例±0.9 (source-reported; one standard error) | 条件不完整 | Table 2 · MLE-bench— | 未披露MLE-bench: Evaluating Machine Learning Agents on Machine Learning Engineering | 发布 —报告 — |
 claude-3-5-sonnet-20240620 · AIDE | 68.9%提交比例±3.1 (source-reported; one standard error) | 条件不完整 | Table 2 · MLE-bench— | 未披露MLE-bench: Evaluating Machine Learning Agents on Machine Learning Engineering | 发布 —报告 — |
| gpt-4o-2024-08-06 · MLAB | 65.6%提交比例±2.5 (source-reported; one standard error) | 条件不完整 | Table 2 · MLE-bench— | 未披露MLE-bench: Evaluating Machine Learning Agents on Machine Learning Engineering | 发布 —报告 — |
| gpt-4o-2024-08-06 · OpenHands | 59.1%提交比例±3.3 (source-reported; one standard error) | 条件不完整 | Table 2 · MLE-bench— | 未披露MLE-bench: Evaluating Machine Learning Agents on Machine Learning Engineering | 发布 —报告 — |
 llama-3.1-405b-instruct · AIDE | 46.3%提交比例±2.9 (source-reported; one standard error) | 条件不完整 | Table 2 · MLE-bench— | 未披露MLE-bench: Evaluating Machine Learning Agents on Machine Learning Engineering | 发布 —报告 — |
结合任务范围与运行配置解读结果。
METR Time Horizon 1.1 来源已停止积极更新，最后更新于 2026 年 9 月 8 日。超过 16 小时的估计超出其可靠测量范围。
协议、配置与原始证据 →任务与测量
Benchmark 协议档案
- 任务／对象
- 原任务配置下的模型或智能体系统
- 测量目标
- 通过竞赛任务和人类表现基线评测自主机器学习工程能力。
- 评分／结果口径
- 任一奖牌比例 · 表 2 的脚手架与模型实验。一般为 3 个种子；AIDE 的 o1-preview 为 16 个，GPT-4o 为 36 个。± 为一个均值标准误。
- 解释边界
- 竞赛表现是部分 AI 研发能力的代理指标，不能直接衡量递归自我改进。
一项已报告评测
来源评测 o1-preview · AIDE · Table 2 · MLE-bench.
报告指标: 任一奖牌比例 · 16.9%.
表 2 的脚手架与模型实验。一般为 3 个种子；AIDE 的 o1-preview 为 16 个，GPT-4o 为 36 个。± 为一个均值标准误。 见原文协议；不推断独立试验数量。
原文 Table 2 报告的 o1-preview · AIDE 测量结果；数值为转录，未独立复现实验。
测量档案 · NUWA 解读
档案区分来源方法阅读与既有目录信息；已经公开不代表完成独立证据复核或双语编辑复核。
- 测量构念
- 智能体能否在真实数据上完成有竞争力的机器学习工程？
- 任务与样本
- 75项精选Kaggle竞赛采用排行榜奖牌阈值与智能体框架，并改变预算和重复次数。
- 判分与失效情形
- 达到Kaggle奖牌级别，区分pass@1与pass@k。
- 系统条件
- 75竞赛，保留框架、时间算力及重试条件。
- 统计含义
- 来源报告的结果表述；这不等同于已确定运行次数、分母或估计方法： o1-preview配AIDE在pass@1中16.9%获至少铜牌，pass@8为34.1%。 GPT-4o从24小时8.7%升至100小时11.8%。
- 效度与解释
- 历史排行榜不是等时人类基线，公开解答带来污染风险。
- 适用研究问题
- 模型建议：同时引用奖牌标准、框架、预算与pass@k。
- MLE-bench: Evaluating Machine Learning Agents on Machine Learning Engineering · AbstractSelected original resource https://arxiv.org/html/2410.07095; sha256:d6aa28f679c2d75eb0872c3b862f1bc4f27d3ef5efe6859f000f3b41ca98ad02; archived source capture; exact capture time not independently established
- MLE-bench: Evaluating Machine Learning Agents on Machine Learning Engineering · §2.1 Dataset CurationSelected original resource https://arxiv.org/html/2410.07095; sha256:d6aa28f679c2d75eb0872c3b862f1bc4f27d3ef5efe6859f000f3b41ca98ad02; archived source capture; exact capture time not independently established
- MLE-bench: Evaluating Machine Learning Agents on Machine Learning Engineering · §1 Introduction: resource-scaling resultsSelected original resource https://arxiv.org/html/2410.07095; sha256:d6aa28f679c2d75eb0872c3b862f1bc4f27d3ef5efe6859f000f3b41ca98ad02; archived source capture; exact capture time not independently established
- MLE-bench: Evaluating Machine Learning Agents on Machine Learning Engineering · §4 Contamination & PlagiarismSelected original resource https://arxiv.org/html/2410.07095; sha256:d6aa28f679c2d75eb0872c3b862f1bc4f27d3ef5efe6859f000f3b41ca98ad02; archived source capture; exact capture time not independently established
- MLE-bench: Evaluating Machine Learning Agents on Machine Learning Engineering · §6 LimitationsSelected original resource https://arxiv.org/html/2410.07095; sha256:d6aa28f679c2d75eb0872c3b862f1bc4f27d3ef5efe6859f000f3b41ca98ad02; archived source capture; exact capture time not independently established
跨报告证据
相同 Benchmark 名称可能对应不同任务、计分规则和系统配置。各来源分别保留，比较组说明具体对齐了哪些条件。
MLE-bench: Evaluating Machine Learning Agents on Machine Learning Engineering
MLE-bench: Evaluating Machine Learning Agents on Machine Learning Engineering
实际评测方: 未披露
6 条结果记录 · 6 个报告系统名称
协议与比较依据 (4)
MLE-bench：高于中位数比例 · MLE-bench: Evaluating Machine Learning Agents on Machine Learning Engineeringsource-report · 范围已审查
MLE-bench：任一奖牌比例 · MLE-bench: Evaluating Machine Learning Agents on Machine Learning Engineeringsource-report · 范围已审查
原始来源图表与材料
原文报告结果
原文顺序 · 原文配置
筛选系统
任一奖牌比例
0–100%o1-preview · AIDEo1-preview · AIDE · 16.9% · ±1.1 (source-reported; one standard error) · 表 2 的脚手架与模型实验。一般为 3 个种子；AIDE 的 o1-preview 为 16 个，GPT-4o 为 36 个。± 为一个均值标准误。 · 见原文协议；不推断独立试验数量。
16.9%gpt-4o-2024-08-06 · AIDEgpt-4o-2024-08-06 · AIDE · 8.7% · ±0.5 (source-reported; one standard error) · 表 2 的脚手架与模型实验。一般为 3 个种子；AIDE 的 o1-preview 为 16 个，GPT-4o 为 36 个。± 为一个均值标准误。 · 见原文协议；不推断独立试验数量。
8.7%llama-3.1-405b-instruct · AIDEllama-3.1-405b-instruct · AIDE · 3.0% · ±1.0 (source-reported; one standard error) · 表 2 的脚手架与模型实验。一般为 3 个种子；AIDE 的 o1-preview 为 16 个，GPT-4o 为 36 个。± 为一个均值标准误。 · 见原文协议；不推断独立试验数量。
3.0%claude-3-5-sonnet-20240620 · AIDEclaude-3-5-sonnet-20240620 · AIDE · 7.6% · ±1.8 (source-reported; one standard error) · 表 2 的脚手架与模型实验。一般为 3 个种子；AIDE 的 o1-preview 为 16 个，GPT-4o 为 36 个。± 为一个均值标准误。 · 见原文协议；不推断独立试验数量。
7.6%gpt-4o-2024-08-06 · MLABgpt-4o-2024-08-06 · MLAB · 0.8% · ±0.5 (source-reported; one standard error) · 表 2 的脚手架与模型实验。一般为 3 个种子；AIDE 的 o1-preview 为 16 个，GPT-4o 为 36 个。± 为一个均值标准误。 · 见原文协议；不推断独立试验数量。
0.8%gpt-4o-2024-08-06 · OpenHandsgpt-4o-2024-08-06 · OpenHands · 4.4% · ±1.4 (source-reported; one standard error) · 表 2 的脚手架与模型实验。一般为 3 个种子；AIDE 的 o1-preview 为 16 个，GPT-4o 为 36 个。± 为一个均值标准误。 · 见原文协议；不推断独立试验数量。
4.4%显示 6 / 6 个系统
数值描述原文协议下的测量结果，不是综合安全评分。
表 2 的脚手架与模型实验。一般为 3 个种子；AIDE 的 o1-preview 为 16 个，GPT-4o 为 36 个。± 为一个均值标准误。 未单独注明评测日期；下表保留发表或记录日期。
评测条件与系统配置
- o1-preview · AIDE
- 见原文协议；不推断独立试验数量。 · Table 2 · MLE-bench
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- gpt-4o-2024-08-06 · AIDE
- 见原文协议；不推断独立试验数量。 · Table 2 · MLE-bench
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- llama-3.1-405b-instruct · AIDE
- 见原文协议；不推断独立试验数量。 · Table 2 · MLE-bench
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- claude-3-5-sonnet-20240620 · AIDE
- 见原文协议；不推断独立试验数量。 · Table 2 · MLE-bench
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- gpt-4o-2024-08-06 · MLAB
- 见原文协议；不推断独立试验数量。 · Table 2 · MLE-bench
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- gpt-4o-2024-08-06 · OpenHands
- 见原文协议；不推断独立试验数量。 · Table 2 · MLE-bench
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
| 系统 / 配置 | 任一奖牌比例 | 提交比例 | 有效提交比例 | 高于中位数比例 | 发表 / 核验日期 |
|---|---|---|---|---|---|
| o1-preview · AIDE未注明 Harness | 16.9%±1.1 (source-reported; one standard error) | 98.4%±0.4 (source-reported; one standard error) | 82.8%±1.1 (source-reported; one standard error) | 29.4%±1.3 (source-reported; one standard error) | 来源核验2026-10-25 |
| gpt-4o-2024-08-06 · AIDE未注明 Harness | 8.7%±0.5 (source-reported; one standard error) | 70.7%±0.9 (source-reported; one standard error) | 54.9%±1.0 (source-reported; one standard error) | 14.4%±0.7 (source-reported; one standard error) | 来源核验2026-10-25 |
| llama-3.1-405b-instruct · AIDE未注明 Harness | 3.0%±1.0 (source-reported; one standard error) | 46.3%±2.9 (source-reported; one standard error) | 27.3%±2.6 (source-reported; one standard error) | 6.7%±1.4 (source-reported; one standard error) | 来源核验2026-10-25 |
| claude-3-5-sonnet-20240620 · AIDE未注明 Harness | 7.6%±1.8 (source-reported; one standard error) | 68.9%±3.1 (source-reported; one standard error) | 51.1%±3.3 (source-reported; one standard error) | 12.9%±2.2 (source-reported; one standard error) | 来源核验2026-10-25 |
| gpt-4o-2024-08-06 · MLAB未注明 Harness | 0.8%±0.5 (source-reported; one standard error) | 65.6%±2.5 (source-reported; one standard error) | 44.3%±2.6 (source-reported; one standard error) | 1.9%±0.7 (source-reported; one standard error) | 来源核验2026-10-25 |
| gpt-4o-2024-08-06 · OpenHands未注明 Harness | 4.4%±1.4 (source-reported; one standard error) | 59.1%±3.3 (source-reported; one standard error) | 52.0%±3.3 (source-reported; one standard error) | 7.1%±1.7 (source-reported; one standard error) | 来源核验2026-10-25 |
相关研究问题
参考文献
数值结果由所引研究的作者报告。
- [1] Chan Jun Shern, Neil Chowdhury 等. MLE-bench: Evaluating Machine Learning Agents on Machine Learning Engineering. 2024-10-09. v6 [arXiv]; Author affiliations on the original paper title page; Table 2