证据记录

Claude 3.5 Sonnet (October 2024) · METR scaffold

METR Time Horizons · 证据记录

METR · Anthropic / Time Horizon 1.1; page updated 2026-09-08 / Capability · 任务能力

原始来源图表与材料

记录指标

50% 成功率任务跨度: 20.52 minSource 95% CI [10.144026, 40.82028] min
80% 成功率任务跨度: 2.60 minSource 95% CI [0.89379, 7.363864] min

任务数和权重受来源任务及脚手架覆盖影响，见方法说明。

mtb/start_metr_task,metr_agents/react; ai_rd_fix_embedding/init_solver,use_tools,metr_agents/react; re_bench_common/init_solver,use_tools,metr_agents/react; metr_tasks_swaa/init_solver,generate; metr_agents/react · 预算未注明

评估出处

METR Time Horizon 1.1 → · 外部报告

实际评测: METR · 模型档案 →

方法与范围

软件任务分布上的拟合成功概率。

证据类型: 可复用基准
评测对象: 在脚手架下完成软件任务的 AI 智能体
主观测维度: Capability · 任务能力
证据快照: 2026-10-29.1

主维度依据来源实际测量的构念；具体指标可能属于其他维度。

来源结论

以人类专家分钟数计量、成功概率为 50% 和 80% 时的估计任务难度。

适用限制

该公开页面已停止持续更新；时间范围不是智能体运行时长或通用自动化指标。

衡量人类任务难度，而非自主运行时长。当前任务集下高于 16 小时的测量不可靠。

保留原图，不估算数值；本轮未完成原文全部表格转录。

参考文献

[1] Thomas Kwa, Ben West 等. Task-Completion Time Horizons of Frontier AI Models. 2026-09-08
[2] Thomas Kwa, Ben West 等. Measuring AI Ability to Complete Long Software Tasks. 2026-09-08 ; Author affiliations on the original paper title page; Figure 3
[3] METR Time Horizon 1.1 — source data ; results.claude_3_5_sonnet_20241022_inspect

搜索 NUWA Index