OpenAI
GPT-5
关于能力、行为倾向及可观察行动的已发表证据。
- 首次公开可用日期
- 2025-08-07
- 参数规模
- 未披露
- 元数据更新
- 2026-10-27
证据概述
按评估与协议整理已发表风险证据;证据缺失不代表风险较低。
NUWA 整理和解读这些来源。实验归属于原始执行方,本页不宣称 NUWA 已独立复现。
模型监测
代表性 Benchmark 覆盖
按协议和配置呈现结果,缺口标明待收录或待关联的证据。
AgentCyberRange →
尚未关联该模型版本的合格测量。
Cybench →
1 项测量
- 73.5%NIST / CAISI · CAISI ReAct-style agent; Inspect
CyberGym →
2 项测量
METR Time Horizons →
2 项测量
- 203.01 minMETR · mtb/start_metr_task,triframe_inspect/triframe_agent; ai_rd_fix_embedding/init_solver,use_tools,triframe_inspect/triframe_agent; re_bench_common/init_solver,use_tools,triframe_inspect/triframe_agent; metr_tasks_swaa/init_solver,generate; triframe_inspect/triframe_agent
- 38.31 minMETR · mtb/start_metr_task,triframe_inspect/triframe_agent; ai_rd_fix_embedding/init_solver,use_tools,triframe_inspect/triframe_agent; re_bench_common/init_solver,use_tools,triframe_inspect/triframe_agent; metr_tasks_swaa/init_solver,generate; triframe_inspect/triframe_agent
SEC-bench Pro →
尚未关联该模型版本的合格测量。
MASK →
尚未关联该模型版本的合格测量。
Attempt to Persuade Eval (APE) →
尚未关联该模型版本的合格测量。
DeceptionBench →
尚未关联该模型版本的合格测量。
PersuSafety →
尚未关联该模型版本的合格测量。
全部已关联测量
各项结果保留原始协议与单位。
9 条观测
| 系统/模型 | 结果 | 条件状态 | 任务/条件 | 评测方/报告 | 日期 |
|---|---|---|---|---|---|
| 60.2%CyberGym · 成功率 | 条件不完整 | level1score_10SageAgent | Not disclosedCyberGym official leaderboard and machine-data extraction | 发布 2025-08-07报告 — | |
| 39.4%CyberGym · 成功率 | 条件不完整 | level1score_10OpenHands | Not disclosedCyberGym official leaderboard and machine-data extraction | 发布 2025-08-07报告 — | |
| 73.5%Cybench · Reported benchmark performance | 条件不完整 | Cybenchmedium reasoning effort500,000 weighted tokens per agentic task (Appendix A2)CAISI ReAct-style agent; Inspect | NIST / CAISIEvaluation of DeepSeek AI Models | 发布 2025-08-07报告 2025-09-30 | |
| 88%Shutdown resistance in reasoning models · bypass rate: No Shutdown Instructions (A) | 条件不完整 | Shutdown Resistancebypass rate: No Shutdown Instructions (A)— | Palisade ResearchEvaluating DeepSeek v4 Pro for Frontier Risks | 发布 2025-08-07报告 2026-05-29 | |
| 99.5%Shutdown resistance in reasoning models · bypass rate: Instructed to Resist — Baseline Competence (K) | 条件不完整 | Shutdown Resistancebypass rate: Instructed to Resist — Baseline Competence (K)— | Palisade ResearchEvaluating DeepSeek v4 Pro for Frontier Risks | 发布 2025-08-07报告 2026-05-29 | |
| 88.4%Shutdown resistance in reasoning models · bypass rate: A / K | 条件不完整 | Shutdown Resistancebypass rate: A / K— | Palisade ResearchEvaluating DeepSeek v4 Pro for Frontier Risks | 发布 2025-08-07报告 2026-05-29 | |
| 0%Shutdown resistance in reasoning models · bypass rate: Instructed to allow shutdown — Disambiguated (E) | 条件不完整 | Shutdown Resistancebypass rate: Instructed to allow shutdown — Disambiguated (E)— | Palisade ResearchEvaluating DeepSeek v4 Pro for Frontier Risks | 发布 2025-08-07报告 2026-05-29 | |
| 203.01 minMETR Time Horizons · 50% 成功率任务跨度Source 95% CI [112.641357, 405.551565] min | 条件不完整 | METR-Horizon-v1.1mtb/start_metr_task,triframe_inspect/triframe_agent; ai_rd_fix_embedding/init_solver,use_tools,triframe_inspect/triframe_agent; re_bench_common/init_solver,use_tools,triframe_inspect/triframe_agent; metr_tasks_swaa/init_solver,generate; triframe_inspect/triframe_agent | METRMETR Time Horizon 1.1 — source data | 发布 2025-08-07报告 — | |
| 38.31 minMETR Time Horizons · 80% 成功率任务跨度Source 95% CI [19.184874, 70.093125] min | 条件不完整 | METR-Horizon-v1.1mtb/start_metr_task,triframe_inspect/triframe_agent; ai_rd_fix_embedding/init_solver,use_tools,triframe_inspect/triframe_agent; re_bench_common/init_solver,use_tools,triframe_inspect/triframe_agent; metr_tasks_swaa/init_solver,generate; triframe_inspect/triframe_agent | METRMETR Time Horizon 1.1 — source data | 发布 2025-08-07报告 — |
开发者披露
外部评估
美国 NIST/CAISI
Evaluation of DeepSeek AI Models →
所报告差异依赖任务、脚手架与评分;机构判断保留为来源观点,不改写为 NUWA 实验发现。
2025-09-30按风险主题组织的证据
自主性 5 项协议结果
METR Time Horizon 1.1 →
外部评测 · 执行方 METR
- 50% 成功率任务跨度
- 203.01 min
- 80% 成功率任务跨度
- 38.31 min
任务数和权重受来源任务及脚手架覆盖影响,见方法说明。
Shutdown resistance →
引用结果 · 执行方 Palisade Research · 原始执行方 Palisade Research
- bypass rate: No Shutdown Instructions (A)
- 88%
原文未披露本结果的样本量
Shutdown resistance →
引用结果 · 执行方 Palisade Research · 原始执行方 Palisade Research
- bypass rate: Instructed to Resist — Baseline Competence (K)
- 99.5%
原文未披露本结果的样本量
Shutdown resistance →
引用结果 · 执行方 Palisade Research · 原始执行方 Palisade Research
- bypass rate: A / K
- 88.4%
原文未披露本结果的样本量
Shutdown resistance →
引用结果 · 执行方 Palisade Research · 原始执行方 Palisade Research
- bypass rate: Instructed to allow shutdown — Disambiguated (E)
- 0%
原文未披露本结果的样本量
欺骗 未关联结构化结果
目录缺口不代表低风险。尚未提取的发现及协议范围请见关联报告。
网络安全 3 项协议结果
CyberGym · level1 · score_10 →
外部评测 · 执行方
- 成功率
- 60.2%
原文未披露本结果的样本量
CyberGym · level1 · score_10 →
外部评测 · 执行方
- 成功率
- 39.4%
原文未披露本结果的样本量
Cybench →
外部评测 · 执行方 美国 NIST/CAISI
- Reported benchmark performance
- 73.5%
来源分母:40(单位未披露)
化生放核 未关联结构化结果
目录缺口不代表低风险。尚未提取的发现及协议范围请见关联报告。
虚假信息与影响 未关联结构化结果
目录缺口不代表低风险。尚未提取的发现及协议范围请见关联报告。
自主物理危害 未关联结构化结果
目录缺口不代表低风险。尚未提取的发现及协议范围请见关联报告。
来源核查与证据缺口
CyberGym →
整理 CyberGym 官网报告的评测结果,保留受测系统和运行配置。
官网收录不同配置下的系统提交。本结果的任务数、预算和执行日期未完整披露;未定义指标及身份待核实行已排除。JSON 原始比例按官网展示规则乘以 100 并保留一位小数,转换为百分比。
Evaluating DeepSeek v4 Pro for Frontier Risks →
对 Neo Research · DeepSeek V4 Pro 的逐来源提取与核查,发现和数值均保留原始归属。
来源转录不等于实验复现。未确定的日期、执行方及配置保留为未知;原文分组不作为经核验排名。
Evaluation of DeepSeek AI Models →
对 CAISI · DeepSeek models 的逐来源提取与核查,发现和数值均保留原始归属。
来源转录不等于实验复现。未确定的日期、执行方及配置保留为未知;原文分组不作为经核验排名。
缺失分数可能来自尚未提取的章节、未披露配置、身份待核实或尚无实验。这些问题需要分别处理,均不代表零分。
解读与开放问题
报告差异可能来自任务选择、模型端点、提示、预算、判别器和发表时间。证据依据实际协议分组,不推断模型整体安全等级。
参考文献
- [1] OpenAI — introducing gpt 5 ; Publication date and availability section; Parameter counts not disclosed in launch article
- [2] METR Time Horizon 1.1 — source data ; results.gpt_5_2025_08_07_inspect
- [3] Evaluating DeepSeek v4 Pro for Frontier Risks. 2026-05-29. v1.1 · 29 May 2026 ; PDF p. 24; Shutdown Resistance; bypass rate: No Shutdown Instructions (A); PDF p. 24; Shutdown Resistance; bypass rate: Instructed to Resist — Baseline Competence (K); PDF p. 24; Shutdown Resistance; bypass rate: A / K
- [4] Evaluation of DeepSeek AI Models. 2025-09-30. 30 September 2025 ; p. 24, Table 4.1, row Cybench, column OpenAI GPT-5
- [5] Update to GPT-5 System Card: GPT-5.2. 2025-12-11
- [6] CyberGym official leaderboard and machine-data extraction ; /level1/58/score_10; /level1/73/score_10