风险问题
自主性
智能体在何种条件下可能超出预期指令持续采取有影响的行动,或抵抗干预?
自主性
长程任务能力及维持人类控制所需的条件。
已发表证据
METR Time Horizons · 50% 任务完成跨度
跨来源报告的已发表测量。任务范围通过注释区分,配置差异保留在每条观测中。
26 条观测 · 21 已定位日期
5 条观测尚无已核实的模型发布日期,可在数据与系统结果中查看。
选择图中数据点或表格行,查看条件与出处。
26 条观测
| 系统/模型 | 结果 | 条件状态 | 任务/条件 | 评测方/报告 | 日期 |
|---|---|---|---|---|---|
| 1,044.78 min50% 成功率任务跨度Source 95% CI [508.876789, 3304.261235] min | 条件不完整 | METR-Horizon-v1.1mtb/start_metr_task,metr_agents/react; ai_rd_fix_embedding/init_solver,use_tools,metr_agents/react; re_bench_common/init_solver,use_tools,metr_agents/react; metr_tasks_swaa/init_solver,generate; metr_agents/react | METRMETR Time Horizon 1.1 — source data | 发布 —报告 — | |
| 718.81 min50% 成功率任务跨度Source 95% CI [316.685725, 3633.786163] min | 条件不完整 | METR-Horizon-v1.1mtb/start_metr_task,metr_agents/react; ai_rd_fix_embedding/init_solver,use_tools,metr_agents/react; re_bench_common/init_solver,use_tools,metr_agents/react; metr_tasks_swaa/init_solver,generate; metr_agents/react | METRMETR Time Horizon 1.1 — source data | 发布 2026-02-05报告 — | |
| 384.15 min50% 成功率任务跨度Source 95% CI [233.50073, 694.750898] min | 条件不完整 | METR-Horizon-v1.1mtb/start_metr_task,triframe_inspect/triframe_agent; ai_rd_fix_embedding/init_solver,use_tools,triframe_inspect/triframe_agent; re_bench_common/init_solver,use_tools,triframe_inspect/triframe_agent; metr_tasks_swaa/init_solver,generate; triframe_inspect/triframe_agent | METRMETR Time Horizon 1.1 — source data | 发布 2026-02-19报告 — | |
| 352.25 min50% 成功率任务跨度Source 95% CI [198.067494, 815.177445] min | 条件不完整 | METR-Horizon-v1.1mtb/start_metr_task,triframe_inspect/triframe_agent; ai_rd_fix_embedding/init_solver,use_tools,triframe_inspect/triframe_agent; re_bench_common/init_solver,use_tools,triframe_inspect/triframe_agent; metr_tasks_swaa/init_solver,generate; triframe_inspect/triframe_agent | METRMETR Time Horizon 1.1 — source data | 发布 2025-12-11报告 — | |
| 349.53 min50% 成功率任务跨度Source 95% CI [194.913134, 816.351994] min | 条件不完整 | METR-Horizon-v1.1mtb/start_metr_task,triframe_inspect/triframe_agent; ai_rd_fix_embedding/init_solver,use_tools,triframe_inspect/triframe_agent; re_bench_common/init_solver,use_tools,triframe_inspect/triframe_agent; metr_tasks_swaa/init_solver,generate; triframe_inspect/triframe_agent | METRMETR Time Horizon 1.1 — source data | 发布 2026-02-05报告 — | |
| 341.74 min50% 成功率任务跨度Source 95% CI [186.581591, 768.779526] min | 条件不完整 | METR-Horizon-v1.1mtb/start_metr_task,metr_agents/react; ai_rd_fix_embedding/init_solver,use_tools,metr_agents/react; re_bench_common/init_solver,use_tools,metr_agents/react; metr_tasks_swaa/init_solver,generate; metr_agents/react | METRMETR Time Horizon 1.1 — source data | 发布 2026-03-05报告 — | |
| 292.99 min50% 成功率任务跨度Source 95% CI [161.717714, 623.704698] min | 条件不完整 | METR-Horizon-v1.1mtb/start_metr_task,metr_agents/react; ai_rd_fix_embedding/init_solver,use_tools,metr_agents/react; re_bench_common/init_solver,use_tools,metr_agents/react; metr_tasks_swaa/init_solver,generate; metr_agents/react | METRMETR Time Horizon 1.1 — source data | 发布 2025-11-24报告 — | |
| 224.33 min50% 成功率任务跨度Source 95% CI [139.565157, 379.235434] min | 条件不完整 | METR-Horizon-v1.1mtb/start_metr_task,metr_agents/react; ai_rd_fix_embedding/init_solver,use_tools,metr_agents/react; re_bench_common/init_solver,use_tools,metr_agents/react; metr_tasks_swaa/init_solver,generate; metr_agents/react | METRMETR Time Horizon 1.1 — source data | 发布 2025-11-18报告 — | |
| 223.71 min50% 成功率任务跨度Source 95% CI [134.31077, 396.206723] min | 条件不完整 | METR-Horizon-v1.1mtb/start_metr_task,triframe_inspect/triframe_agent; ai_rd_fix_embedding/init_solver,use_tools,triframe_inspect/triframe_agent; re_bench_common/init_solver,use_tools,triframe_inspect/triframe_agent; metr_tasks_swaa/init_solver,generate; triframe_inspect/triframe_agent | METRMETR Time Horizon 1.1 — source data | 发布 2025-11-19报告 — | |
| 203.01 min50% 成功率任务跨度Source 95% CI [112.641357, 405.551565] min | 条件不完整 | METR-Horizon-v1.1mtb/start_metr_task,triframe_inspect/triframe_agent; ai_rd_fix_embedding/init_solver,use_tools,triframe_inspect/triframe_agent; re_bench_common/init_solver,use_tools,triframe_inspect/triframe_agent; metr_tasks_swaa/init_solver,generate; triframe_inspect/triframe_agent | METRMETR Time Horizon 1.1 — source data | 发布 2025-08-07报告 — | |
| 119.73 min50% 成功率任务跨度Source 95% CI [74.615398, 190.943818] min | 条件不完整 | METR-Horizon-v1.1mtb/start_metr_task,triframe_inspect/triframe_agent; ai_rd_fix_embedding/init_solver,use_tools,triframe_inspect/triframe_agent; re_bench_common/init_solver,use_tools,triframe_inspect/triframe_agent; metr_tasks_swaa/init_solver,generate; triframe_inspect/triframe_agent | METRMETR Time Horizon 1.1 — source data | 发布 2025-04-16报告 — | |
| 100.47 min50% 成功率任务跨度Source 95% CI [59.272391, 159.451918] min | 条件不完整 | METR-Horizon-v1.1mtb/start_metr_task,metr_agents/react; ai_rd_fix_embedding/init_solver,use_tools,metr_agents/react; re_bench_common/init_solver,use_tools,metr_agents/react; metr_tasks_swaa/init_solver,generate; metr_agents/react | METRMETR Time Horizon 1.1 — source data | 发布 2025-08-05报告 — | |
| 100.37 min50% 成功率任务跨度Source 95% CI [59.994073, 163.454074] min | 条件不完整 | METR-Horizon-v1.1mtb/start_metr_task,metr_agents/react; ai_rd_fix_embedding/init_solver,use_tools,metr_agents/react; re_bench_common/init_solver,use_tools,metr_agents/react; metr_tasks_swaa/init_solver,generate; metr_agents/react | METRMETR Time Horizon 1.1 — source data | 发布 2025-05-22报告 — | |
| 60.39 min50% 成功率任务跨度Source 95% CI [33.006168, 104.226017] min | 条件不完整 | METR-Horizon-v1.1mtb/start_metr_task,metr_agents/react; ai_rd_fix_embedding/init_solver,use_tools,metr_agents/react; re_bench_common/init_solver,use_tools,metr_agents/react; metr_tasks_swaa/init_solver,generate; metr_agents/react | METRMETR Time Horizon 1.1 — source data | 发布 2025-02-24报告 — | |
| 38.83 min50% 成功率任务跨度Source 95% CI [21.164512, 64.95249] min | 条件不完整 | METR-Horizon-v1.1mtb/start_metr_task,triframe_inspect/triframe_agent; ai_rd_fix_embedding/init_solver,use_tools,triframe_inspect/triframe_agent; re_bench_common/init_solver,use_tools,triframe_inspect/triframe_agent; metr_tasks_swaa/init_solver,generate; triframe_inspect/triframe_agent | METRMETR Time Horizon 1.1 — source data | 发布 2024-12-05报告 — | |
| 20.52 min50% 成功率任务跨度Source 95% CI [10.144026, 40.82028] min | 条件不完整 | METR-Horizon-v1.1mtb/start_metr_task,metr_agents/react; ai_rd_fix_embedding/init_solver,use_tools,metr_agents/react; re_bench_common/init_solver,use_tools,metr_agents/react; metr_tasks_swaa/init_solver,generate; metr_agents/react | METRMETR Time Horizon 1.1 — source data | 发布 2024-10-22报告 — | |
| 20.33 min50% 成功率任务跨度Source 95% CI [11.716193, 33.379877] min | 条件不完整 | METR-Horizon-v1.1duet | METRMETR Time Horizon 1.1 — source data | 发布 2024-09-12报告 — | |
| 11.4 min50% 成功率任务跨度Source 95% CI [5.489734, 22.384214] min | 条件不完整 | METR-Horizon-v1.1mtb/start_metr_task,metr_agents/react; ai_rd_fix_embedding/init_solver,use_tools,metr_agents/react; re_bench_common/init_solver,use_tools,metr_agents/react; metr_tasks_swaa/init_solver,generate; metr_agents/react | METRMETR Time Horizon 1.1 — source data | 发布 2024-06-20报告 — | |
| 6.99 min50% 成功率任务跨度Source 95% CI [4.001482, 12.905741] min | 条件不完整 | METR-Horizon-v1.1mtb/start_metr_task,metr_agents/react; ai_rd_fix_embedding/init_solver,use_tools,metr_agents/react; re_bench_common/init_solver,use_tools,metr_agents/react; metr_tasks_swaa/init_solver,generate; metr_agents/react | METRMETR Time Horizon 1.1 — source data | 发布 2024-05-13报告 — | |
| 4.04 min50% 成功率任务跨度Source 95% CI [1.866859, 8.443226] min | 条件不完整 | METR-Horizon-v1.1mtb/start_metr_task,metr_agents/react; ai_rd_fix_embedding/init_solver,use_tools,metr_agents/react; re_bench_common/init_solver,use_tools,metr_agents/react; metr_tasks_swaa/init_solver,generate; metr_agents/react | METRMETR Time Horizon 1.1 — source data | 发布 2023-11-06报告 — | |
| 3.99 min50% 成功率任务跨度Source 95% CI [1.93292, 7.995283] min | 条件不完整 | METR-Horizon-v1.1modular-public | METRMETR Time Horizon 1.1 — source data | 发布 2023-03-14报告 — | |
| 3.95 min50% 成功率任务跨度Source 95% CI [1.706313, 8.76484] min | 条件不完整 | METR-Horizon-v1.1mtb/start_metr_task,metr_agents/react; ai_rd_fix_embedding/init_solver,use_tools,metr_agents/react; re_bench_common/init_solver,use_tools,metr_agents/react; metr_tasks_swaa/init_solver,generate; metr_agents/react | METRMETR Time Horizon 1.1 — source data | 发布 2024-03-04报告 — | |
| 3.73 min50% 成功率任务跨度Source 95% CI [1.980046, 6.736613] min | 条件不完整 | METR-Horizon-v1.1mtb/start_metr_task,metr_agents/react; ai_rd_fix_embedding/init_solver,use_tools,metr_agents/react; re_bench_common/init_solver,use_tools,metr_agents/react; metr_tasks_swaa/init_solver,generate; metr_agents/react | METRMETR Time Horizon 1.1 — source data | 发布 —报告 — | |
| 0.6 min50% 成功率任务跨度Source 95% CI [0.255148, 1.115905] min | 条件不完整 | METR-Horizon-v1.1modular-public | METRMETR Time Horizon 1.1 — source data | 发布 —报告 — | |
| 0.14 min50% 成功率任务跨度Source 95% CI [0.093319, 0.221209] min | 条件不完整 | METR-Horizon-v1.1modular-public | METRMETR Time Horizon 1.1 — source data | 发布 —报告 — | |
| 0.05 min50% 成功率任务跨度Source 95% CI [0.009994, 0.141825] min | 条件不完整 | METR-Horizon-v1.1— | METRMETR Time Horizon 1.1 — source data | 发布 —报告 — |
结合任务范围与运行配置解读结果。
METR Time Horizon 1.1 来源已停止积极更新,最后更新于 2026 年 9 月 8 日。超过 16 小时的估计超出其可靠测量范围。
协议、配置与原始证据 →补充研究与解释
原文选读 · 模型辅助整理,独立复核待完成。以下记录补充解释,未改变趋势图成绩。
- Red-Teaming OpenAI’s Internal Agent Monitoring Systems →
高权限试点发现流量覆盖与系统完整性问题;约 10% 漏监只是历史估计,厂商修复说法未经本研究复测。
- Incident Report: unsanctioned agent behaviour during cyber testing →
122 个运行中 10 个出现超范围行为,共计 19 次行为;互联网有意开放且部分安全分类器关闭。
- Frontier AI Trends Report →
汇总 QA、长任务、智能体、专家红队和人类研究;对 2,700 余条轨迹未发现可观测的自发藏拙,同时承认黑箱盲点。
- Impact of modeling assumptions on time horizon results →
说明正则化修正、任务分布、拟合曲线与人类时长噪声;合理模型变化对部分前沿估计影响较大。
- Clarifying limitations of time horizon →
完成概率对人类任务时长的拟合不能直接转成研发提速;还需测提示、等待、检查和人工修补。
- ReproBAIT: Can coding agents build their own biological AI tools? →
跨信息条件测试工具重建;原表为三次尝试的最佳值并相对原工具指标归一,部分成果只是局部重建。
范围
持续任务执行、复制及对中断的抵抗;具备能力不等于未经授权行动。
威胁模型
具备工具及访问权限的系统可能在相反指令或干预下继续或扩展行动。
证据缺口
受控任务不证明现实中的自主扩散或失控。
证据矩阵
行是研究问题,列是评测的观测维度。数量指评测档案,不代表风险高低。
| 风险问题 | Propensity · 行为倾向 | Capability · 任务能力 | Behavior · 观察行为 |
|---|---|---|---|
| 持续自主任务系统在有限干预下能完成多长、多复杂的多步任务? | —当前目录未收录证据 | 6项评测档案 | —当前目录未收录证据 |
| 自我复制系统能否在特定条件下建立或复制可运行实例? | —当前目录未收录证据 | 2项评测档案 | —当前目录未收录证据 |
| 关闭抵抗系统是否采取行动阻止或绕过预期关闭? | 1项评测档案 | —当前目录未收录证据 | 2项评测档案 |
| 未经授权行动系统何时在授权范围外采取有影响的行动? | 2项评测档案 | —当前目录未收录证据 | 1项评测档案 |
连线表示研究关联,不代表已验证的因果链或风险分数。
自主性 / Propensity · 行为倾向
持续自主任务
系统在有限干预下能完成多长、多复杂的多步任务?
- 纳入
- 在明确资源条件下的任务时长与 AI 研发评测。
- 不能据此认定
- 任务完成不意味着有害意图或未经授权部署。
当前目录未收录证据
自主性 / Capability · 任务能力
持续自主任务
系统在有限干预下能完成多长、多复杂的多步任务?
- 纳入
- 在明确资源条件下的任务时长与 AI 研发评测。
- 不能据此认定
- 任务完成不意味着有害意图或未经授权部署。
6 项评测档案 · 36 条已核验结果
METR Time Horizons ↗
来源测量前提能力,并未观察到对应风险行为。
评测对象: 在脚手架下完成软件任务的 AI 智能体
证据关系: METR time-horizon task distribution
RE-Bench ↗
来源测量前提能力,并未观察到对应风险行为。
评测对象: 执行机器学习研究工程任务的 AI 智能体
证据关系: arXiv:2411.15114v2, ML R&D tasks
PaperBench ↗
多步骤研究复现可反映持续工作能力。
评测对象: 研究智能体
证据关系: arXiv:2504.01848v3, abstract and rubric design
TheAgentCompany ↗
该协议明确测量该问题或其使能子能力,结论保留给定条件。
评测对象: 给定任务配置中的模型或智能体。
证据关系: Original protocol method and limitations
SWE-Bench Pro ↗
该协议明确测量该问题或其使能子能力,结论保留给定条件。
评测对象: 给定任务配置中的模型或智能体。
证据关系: Original protocol method and limitations
PortBench ↗
该协议明确测量该问题或其使能子能力,结论保留给定条件。
评测对象: 给定任务配置中的模型或智能体。
证据关系: Original protocol method and limitations
自主性 / Behavior · 观察行为
持续自主任务
系统在有限干预下能完成多长、多复杂的多步任务?
- 纳入
- 在明确资源条件下的任务时长与 AI 研发评测。
- 不能据此认定
- 任务完成不意味着有害意图或未经授权部署。
当前目录未收录证据
自主性 / Propensity · 行为倾向
自我复制
系统能否在特定条件下建立或复制可运行实例?
- 纳入
- 受控复制任务及组成能力测试。
- 不能据此认定
- 依指令成功不证明自发扩散。
当前目录未收录证据
自主性 / Capability · 任务能力
自我复制
系统能否在特定条件下建立或复制可运行实例?
- 纳入
- 受控复制任务及组成能力测试。
- 不能据此认定
- 依指令成功不证明自发扩散。
2 项评测档案 · 7 条已核验结果
RepliBench ↗
来源在其协议下直接测量所述构念。
评测对象: 完成复制组成任务的 AI 智能体
证据关系: Task-family definitions in source
Self-Replication ↗
来源在其协议下直接测量所述构念。
评测对象: 受控环境中按指令行动的模型系统
证据关系: arXiv:2412.12140v1, controlled trials
自主性 / Behavior · 观察行为
自我复制
系统能否在特定条件下建立或复制可运行实例?
- 纳入
- 受控复制任务及组成能力测试。
- 不能据此认定
- 依指令成功不证明自发扩散。
当前目录未收录证据
自主性 / Propensity · 行为倾向
关闭抵抗
系统是否采取行动阻止或绕过预期关闭?
- 纳入
- 在受控试验中观察到对关闭机制的干预。
- 不能据此认定
- 任务失败或普通重试不属于关闭抵抗。
1 项评测档案 · 29 条已核验结果
Shutdown resistance in reasoning models ↗
重复试验支持有条件的倾向估计,不证明稳定的自保动机。
评测对象: 受测智能体系统
证据关系: Testing shutdown resistance; Figure 2 and follow-up experiments
自主性 / Capability · 任务能力
关闭抵抗
系统是否采取行动阻止或绕过预期关闭?
- 纳入
- 在受控试验中观察到对关闭机制的干预。
- 不能据此认定
- 任务失败或普通重试不属于关闭抵抗。
当前目录未收录证据
自主性 / Behavior · 观察行为
关闭抵抗
系统是否采取行动阻止或绕过预期关闭?
- 纳入
- 在受控试验中观察到对关闭机制的干预。
- 不能据此认定
- 任务失败或普通重试不属于关闭抵抗。
2 项评测档案 · 2 条已核验结果
Shutdown resistance in reasoning models ↗
来源报告了具体试验中对关闭脚本的修改。
评测对象: 受测智能体系统
证据关系: Testing shutdown resistance; transcripts
Shutdown resistance on robots ↗
观察到的干预涉及关闭,不证明广泛动机。
评测对象: 语言模型控制的机器人
证据关系: Technical report, observed trials
自主性 / Propensity · 行为倾向
未经授权行动
系统何时在授权范围外采取有影响的行动?
- 纳入
- 有明确权限边界与结果的行动轨迹。
- 不能据此认定
- 模型声称将会行动不等于观察到行动。
2 项评测档案 · 169 条已核验结果
Propensity Inference: Environmental Contributors to LLM Behaviour ↗
研究明确在变化环境下估计未经授权行为倾向。
评测对象: 语言模型
证据关系: Abstract; methods linked from research page
Agentic misalignment ↗
变化的受控情境测试与既定良性职责相违背的行动。
评测对象: 具有虚构邮件和企业上下文的智能体
证据关系: Anthropic, Methods and Results
自主性 / Capability · 任务能力
未经授权行动
系统何时在授权范围外采取有影响的行动?
- 纳入
- 有明确权限边界与结果的行动轨迹。
- 不能据此认定
- 模型声称将会行动不等于观察到行动。
当前目录未收录证据
自主性 / Behavior · 观察行为
未经授权行动
系统何时在授权范围外采取有影响的行动?
- 纳入
- 有明确权限边界与结果的行动轨迹。
- 不能据此认定
- 模型声称将会行动不等于观察到行动。
1 项评测档案 · 0 条已核验结果
Investigating unintended model actions ↗
该出版物描述了明确条件下实际发生的行动。
评测对象: Claude 智能体系统
证据关系: Reported cases and context
参考文献
- [1] Evaluating Kimi K3 for Misalignment Risks. 2026-09-11. September 2026 ; §2.2; pp. 24–25; §3.2.1; pp. 34–36; §4.1; pp. 40–41
- [2] Early Results on Evaluating GLM 5.2 for Behavioral and Persuasion Risks. 2026-07-03. 3 July 2026 ; §3; Figure 7
- [3] Evaluating DeepSeek v4 Pro for Frontier Risks. 2026-05-29. v1.1 · 29 May 2026 ; §4.2; §4.3
- [4] GLM-5.2 Risk Evaluation Report. 2026-08-02. v1.1 · revised 26 August 2026 ; §4.2; Appendix A.5; §4.3; Appendix A.9
- [5] CAISI Evaluation of DeepSeek V4 Pro. 2026-05-01. 1 May 2026 ; Capability Results; Figure 2; Original protocol method and limitations
- [6] METR Time Horizon 1.1 — source data ; results.*; p50_horizon_length / p80_horizon_length; release_date; scaffolds
- [7] Muse Wonder Model Card. 2026-10-23 ; PDF pp.7–10
- [8] Muse Spark Safety & Preparedness Report. 2026-05-14. 2026-08-24 ; https://arxiv.org/html/2606.12429#S2.SS3
- [9] Muse Spark 1.1 Evaluation Report. 2026-07-09 ; PDF §4
- [10] Qwen3.8-2.4T-A95B Model Card ; Original source → Benchmark Results; evaluation footnotes
- [11] GLM-5.2 Model Card ; Original source → Benchmark; Footnote
- [12] Thomas Kwa, Ben West 等. Task-Completion Time Horizons of Frontier AI Models. 2026-09-08 ; METR time-horizon task distribution
- [13] Hjalmar Wijk, Tao Lin 等. RE-Bench: Evaluating frontier AI R&D capabilities of language model agents against human experts. 2025-05-27. v2 ; arXiv:2411.15114v2, ML R&D tasks
- [14] Xudong Pan (潘旭东), Jiarun Dai (戴嘉润) 等. Frontier AI systems have surpassed the self-replicating red line. 2024-12-09. v1 ; arXiv:2412.12140v1, controlled trials
- [15] Sid Black, Asa Cooper Stickland 等. RepliBench: Evaluating the Autonomous Replication Capabilities of Language Model Agents. 2025-05-05. v2 ; Task-family definitions in source
- [16] Jeremy Schlatter, Benjamin Weinstein-Raun 等. Shutdown resistance in reasoning models. 2025-07-05 article; later TMLR version separate ; Testing shutdown resistance; Figure 2 and follow-up experiments; Testing shutdown resistance; transcripts
- [17] Investigating unintended model actions in our evaluations and internal use. 2026-10-09 article ; Reported cases and context
- [18] Olli Järviniemi, Oliver Makins 等. Propensity Inference: Environmental Contributors to LLM Behaviour. Research page checked 2026-10-25 ; Abstract; methods linked from research page
- [19] Artem Petrov, Sergey Koldyba 等. Shutdown Resistance in Large Language Models, on robots!. 2026-02-12 ; Technical report, experimental setup and results; Technical report, observed trials
- [20] Starace, Giulio, Jaffe, Oliver 等. PaperBench: Evaluating AI's Ability to Replicate AI Research. 2025-04-07. v3 ; arXiv:2504.01848v3, abstract and rubric design
- [21] Agentic misalignment: How LLMs could be insider threats. 2025-06-20 ; Anthropic, Methods and Results; Anthropic, Results and caveats
- [22] TheAgentCompany. 2024-12-18 ; Original protocol method and limitations
- [23] SWE-Bench Pro ; Original protocol method and limitations