NUWA 研究分析 · 模型辅助整理 · 独立复核待完成
长程能力上移,测量边界趋近
在 METR 的任务分布内,长程能力已明显提升;继续追踪前沿还需要扩展测量范围,并将控制实验关联到相同系统。
证据快照 2026-10-28.2 · 2026-10-27
证据与论证
METR 1.1 报告 GPT-4 的 50% 任务跨度为 3.99 分钟、Claude Opus 4.6 为 718.81 分钟,后者原文 95% 区间为 316.69–3,633.79 分钟。估计描述人类专家任务时长,并非智能体连续运行时间。原始跨度论文解释阈值、人类校准和拟合曲线;实时 1.1 序列是独立版本。RepliBench 与关机测试补充组件和干预证据,但这些研究没有共同的端到端终点。
来源序列覆盖更长任务
METR 报告 GPT-4 的 50% 任务跨度为 3.99 分钟,Claude Opus 4.6 为 718.81 分钟,衡量的是人类专家完成任务所需时长。
2 条支撑观测
- GPT-4 · METR scaffold · METR-Horizon-v1.1 · results.gpt_4
- Claude Opus 4.6 · METR scaffold · METR-Horizon-v1.1 · results.claude_opus_4_6_inspect
Task-Completion Time Horizons of Frontier AI Models · METR Time Horizon 1.1; p50/p95 uncertainty; task-suite extrapolation warning
METR Time Horizon 1.1 — source data · METR Time Horizon 1.1; p50/p95 uncertainty; task-suite extrapolation warning
Measuring AI Ability to Complete Long Software Tasks · §§2–4; Appendix B.2 and E.3
较高估计接近任务集测量上限
Opus 4.6 的原文 95% 区间为 316.69–3,633.79 分钟。METR 指出,当前任务集对超过 16 小时的估计不可靠。
1 条支撑观测
- Claude Opus 4.6 · METR scaffold · METR-Horizon-v1.1 · results.claude_opus_4_6_inspect
Task-Completion Time Horizons of Frontier AI Models · METR Time Horizon 1.1; p50/p95 uncertainty; task-suite extrapolation warning
METR Time Horizon 1.1 — source data · METR Time Horizon 1.1; p50/p95 uncertainty; task-suite extrapolation warning
Measuring AI Ability to Complete Long Software Tasks · §§2–4; Appendix B.2 and E.3
可控性需要对应测量
该序列衡量任务能力。下一步应关联同一模型与配置下的关闭、监督和复制证据。
RepliBench: Evaluating the Autonomous Replication Capabilities of Language Model Agents · Distinct replication and intervention endpoints; not matched comparisons
Shutdown resistance in reasoning models · Distinct replication and intervention endpoints; not matched comparisons
局限与待验证假设
任务完成、复制与关机研究测量自主性问题的不同环节,其结果不能合并为失控概率。
后续研究问题
先查明同一模型、配置和任务分布中任务完成与干预响应的联合测量缺口,再规划实验。
参考文献
- [1] Task-Completion Time Horizons of Frontier AI Models. 2026-09-08 ; METR Time Horizon 1.1; p50 horizon and source-reported 95% uncertainty; task-suite extrapolation warning
- [2] METR Time Horizon 1.1 — source data ; METR Time Horizon 1.1; p50 horizon and source-reported 95% uncertainty; task-suite extrapolation warning
- [3] Thomas Kwa, Ben West 等. Measuring AI Ability to Complete Long Software Tasks ; §§2–4; Appendix B.2 and E.3