白泽(Whitzard)女娲实验室 ↗
NUWANUWA INDEX

搜索 NUWA Index

研究 · 测量协议 · 评测结果 · 观点

English
← 研究报告

NUWA 研究分析 · 模型辅助整理 · 独立复核待完成

长程能力上移,测量边界趋近

在 METR 的任务分布内,长程能力已明显提升;继续追踪前沿还需要扩展测量范围,并将控制实验关联到相同系统。

证据快照 2026-10-28.2 · 2026-10-27

证据与论证

METR 1.1 报告 GPT-4 的 50% 任务跨度为 3.99 分钟、Claude Opus 4.6 为 718.81 分钟,后者原文 95% 区间为 316.69–3,633.79 分钟。估计描述人类专家任务时长,并非智能体连续运行时间。原始跨度论文解释阈值、人类校准和拟合曲线;实时 1.1 序列是独立版本。RepliBench 与关机测试补充组件和干预证据,但这些研究没有共同的端到端终点。

来源序列覆盖更长任务

METR 报告 GPT-4 的 50% 任务跨度为 3.99 分钟,Claude Opus 4.6 为 718.81 分钟,衡量的是人类专家完成任务所需时长。

来源发现
2 条支撑观测

Task-Completion Time Horizons of Frontier AI Models · METR Time Horizon 1.1; p50/p95 uncertainty; task-suite extrapolation warning

METR Time Horizon 1.1 — source data · METR Time Horizon 1.1; p50/p95 uncertainty; task-suite extrapolation warning

Measuring AI Ability to Complete Long Software Tasks · §§2–4; Appendix B.2 and E.3

较高估计接近任务集测量上限

Opus 4.6 的原文 95% 区间为 316.69–3,633.79 分钟。METR 指出,当前任务集对超过 16 小时的估计不可靠。

来源发现
1 条支撑观测

Task-Completion Time Horizons of Frontier AI Models · METR Time Horizon 1.1; p50/p95 uncertainty; task-suite extrapolation warning

METR Time Horizon 1.1 — source data · METR Time Horizon 1.1; p50/p95 uncertainty; task-suite extrapolation warning

Measuring AI Ability to Complete Long Software Tasks · §§2–4; Appendix B.2 and E.3

可控性需要对应测量

该序列衡量任务能力。下一步应关联同一模型与配置下的关闭、监督和复制证据。

研究建议

RepliBench: Evaluating the Autonomous Replication Capabilities of Language Model Agents · Distinct replication and intervention endpoints; not matched comparisons

Shutdown resistance in reasoning models · Distinct replication and intervention endpoints; not matched comparisons

局限与待验证假设

任务完成、复制与关机研究测量自主性问题的不同环节,其结果不能合并为失控概率。

后续研究问题

先查明同一模型、配置和任务分布中任务完成与干预响应的联合测量缺口,再规划实验。

参考文献

  1. [1] Task-Completion Time Horizons of Frontier AI Models. 2026-09-08 ; METR Time Horizon 1.1; p50 horizon and source-reported 95% uncertainty; task-suite extrapolation warning
  2. [2] METR Time Horizon 1.1 — source data ; METR Time Horizon 1.1; p50 horizon and source-reported 95% uncertainty; task-suite extrapolation warning
  3. [3] Thomas Kwa, Ben West 等. Measuring AI Ability to Complete Long Software Tasks ; §§2–4; Appendix B.2 and E.3