NUWA 证据记录
GPT-2 · METR scaffold
METR Time Horizons · 证据记录
原始来源图表与材料
记录指标
- 50% 成功率任务跨度
- 0.05 minSource 95% CI [0.009994, 0.141825] min
- 80% 成功率任务跨度
- 0.01 minSource 95% CI [0.001589, 0.068612] min
任务数和权重受来源任务及脚手架覆盖影响，见方法说明。
Harness 未注明 · 预算未注明
评估出处
METR Time Horizon 1.1 → · 外部报告
实际评测: METR · 模型档案 →
方法与范围
软件任务分布上的拟合成功概率。
- 证据类型
- 可复用基准
- 评测对象
- 在脚手架下完成软件任务的 AI 智能体
- 主观测维度
- Capability · 任务能力
- 证据快照
- 2026-10-29.1
主维度依据来源实际测量的构念；具体指标可能属于其他维度。
来源结论
以人类专家分钟数计量、成功概率为 50% 和 80% 时的估计任务难度。
适用限制
该公开页面已停止持续更新；时间范围不是智能体运行时长或通用自动化指标。
衡量人类任务难度，而非自主运行时长。当前任务集下高于 16 小时的测量不可靠。
保留原图，不估算数值；本轮未完成原文全部表格转录。
相关研究问题
自主性 / 持续自主任务 →
来源测量前提能力，并未观察到对应风险行为。
参考文献
- [1] Thomas Kwa, Ben West 等. Task-Completion Time Horizons of Frontier AI Models. 2026-09-08
- [2] Thomas Kwa, Ben West 等. Measuring AI Ability to Complete Long Software Tasks. 2026-09-08 ; Author affiliations on the original paper title page; Figure 3
- [3] METR Time Horizon 1.1 — source data ; results.gpt2