OpenAI
GPT-5.4
关于能力、行为倾向及可观察行动的已发表证据。
- 首次公开可用日期
- 2026-03-05
- 参数规模
- 未披露
- 元数据更新
- 2026-10-27
证据概述
按评估与协议整理已发表风险证据;证据缺失不代表风险较低。
NUWA 整理和解读这些来源。实验归属于原始执行方,本页不宣称 NUWA 已独立复现。
模型监测
代表性 Benchmark 覆盖
按协议和配置呈现结果,缺口标明待收录或待关联的证据。
AgentCyberRange →
尚未关联该模型版本的合格测量。
Cybench →
尚未关联该模型版本的合格测量。
CyberGym →
3 项测量
METR Time Horizons →
2 项测量
- 341.74 minMETR · mtb/start_metr_task,metr_agents/react; ai_rd_fix_embedding/init_solver,use_tools,metr_agents/react; re_bench_common/init_solver,use_tools,metr_agents/react; metr_tasks_swaa/init_solver,generate; metr_agents/react
- 53.88 minMETR · mtb/start_metr_task,metr_agents/react; ai_rd_fix_embedding/init_solver,use_tools,metr_agents/react; re_bench_common/init_solver,use_tools,metr_agents/react; metr_tasks_swaa/init_solver,generate; metr_agents/react
SEC-bench Pro →
8 项测量
全部条件 →MASK →
尚未关联该模型版本的合格测量。
Attempt to Persuade Eval (APE) →
尚未关联该模型版本的合格测量。
DeceptionBench →
4 项测量
全部条件 →PersuSafety →
尚未关联该模型版本的合格测量。
全部已关联测量
各项结果保留原始协议与单位。
22 条观测
| 系统/模型 | 结果 | 条件状态 | 任务/条件 | 评测方/报告 | 日期 |
|---|---|---|---|---|---|
| 66.3%CyberGym · 成功率 | 条件不完整 | level1score_10Codex CLI | Not disclosedCyberGym official leaderboard and machine-data extraction | 发布 2026-03-05报告 — | |
| 73.8%CyberGym · 成功率 | 条件不完整 | level1score_10VARAS-OneMind \(智安·宇盾\) | Not disclosedCyberGym official leaderboard and machine-data extraction | 发布 2026-03-05报告 — | |
| 79%CyberGym · 成功率 | 条件不完整 | level1score_10OpenAI Agent | Not disclosedCyberGym official leaderboard and machine-data extraction | 发布 2026-03-05报告 — | |
| 0%Agentic misalignment · deliberate harmful action rate | 条件不完整 | Anthropic Agentic Misalignmentdeliberate harmful action rate— | MetaEvaluating DeepSeek v4 Pro for Frontier Risks | 发布 2026-03-05报告 2026-05-29 | |
| 1.2%DeceptionBench · deception score: single-turn | 条件不完整 | DeceptionBenchdeception score: single-turn— | MetaEvaluating DeepSeek v4 Pro for Frontier Risks | 发布 2026-03-05报告 2026-05-29 | |
| 1.5%DeceptionBench · deception score: multi-turn w pressure | 条件不完整 | DeceptionBenchdeception score: multi-turn w pressure— | MetaEvaluating DeepSeek v4 Pro for Frontier Risks | 发布 2026-03-05报告 2026-05-29 | |
| 1.2%DeceptionBench · DeceptionBench deception score | 条件不完整 | DeceptionBench单轮— | MetaEarly Results on Evaluating GLM 5.2 for Behavioral and Persuasion Risks | 发布 2026-03-05报告 2026-07-03 | |
| 1.5%DeceptionBench · DeceptionBench deception score | 条件不完整 | DeceptionBench压力条件下的多轮— | MetaEarly Results on Evaluating GLM 5.2 for Behavioral and Persuasion Risks | 发布 2026-03-05报告 2026-07-03 | |
| 54.4%CTF-Archive-Diamond · benchmark_score | 条件不完整 | CTF-Archive Diamondxhigh1M weighted tokensInspect built-in ReAct agent | NIST / CAISICAISI Evaluation of DeepSeek V4 Pro | 发布 2026-03-05报告 2026-05-01 | |
| 341.74 minMETR Time Horizons · 50% 成功率任务跨度Source 95% CI [186.581591, 768.779526] min | 条件不完整 | METR-Horizon-v1.1mtb/start_metr_task,metr_agents/react; ai_rd_fix_embedding/init_solver,use_tools,metr_agents/react; re_bench_common/init_solver,use_tools,metr_agents/react; metr_tasks_swaa/init_solver,generate; metr_agents/react | METRMETR Time Horizon 1.1 — source data | 发布 2026-03-05报告 — | |
| 53.88 minMETR Time Horizons · 80% 成功率任务跨度Source 95% CI [23.957027, 108.679232] min | 条件不完整 | METR-Horizon-v1.1mtb/start_metr_task,metr_agents/react; ai_rd_fix_embedding/init_solver,use_tools,metr_agents/react; re_bench_common/init_solver,use_tools,metr_agents/react; metr_tasks_swaa/init_solver,generate; metr_agents/react | METRMETR Time Horizon 1.1 — source data | 发布 2026-03-05报告 — | |
| 61 countExploitGym · 指定目标成功数 | 条件不完整 | v1on_target2h timeoutCodex CLI | Not disclosedExploitGym official leaderboard and benchmark page | 发布 2026-03-05报告 — | |
| 39%SEC-bench Pro · Headline 成功率 | 条件不完整 | 260617 / overallheadlineHeadline UI: fixed budget; Completed UI: within timeout. Published summary timeout_caps=null; cap labels do not establish equal token or cost budgets.Codex | Not disclosedSEC-bench Pro official leaderboard: selected 260617 and historical 260505 | 发布 2026-03-05报告 — | |
| 40.5%SEC-bench Pro · Completed 模式成功率 | 条件不完整 | 260617 / overallcompletedHeadline UI: fixed budget; Completed UI: within timeout. Published summary timeout_caps=null; cap labels do not establish equal token or cost budgets.Codex | Not disclosedSEC-bench Pro official leaderboard: selected 260617 and historical 260505 | 发布 2026-03-05报告 — | |
| 35%SEC-bench Pro · Headline 成功率 | 条件不完整 | 260617 / v8headlineHeadline UI: fixed budget; Completed UI: within timeout. Published summary timeout_caps=["1.3h"]; cap labels do not establish equal token or cost budgets.Codex | Not disclosedSEC-bench Pro official leaderboard: selected 260617 and historical 260505 | 发布 2026-03-05报告 — | |
| 36.7%SEC-bench Pro · Completed 模式成功率 | 条件不完整 | 260617 / v8completedHeadline UI: fixed budget; Completed UI: within timeout. Published summary timeout_caps=["1.3h"]; cap labels do not establish equal token or cost budgets.Codex | Not disclosedSEC-bench Pro official leaderboard: selected 260617 and historical 260505 | 发布 2026-03-05报告 — | |
| 25%SEC-bench Pro · Headline 成功率 | 条件不完整 | 260617 / firefoxheadlineHeadline UI: fixed budget; Completed UI: within timeout. Published summary timeout_caps=[]; cap labels do not establish equal token or cost budgets.Codex | Not disclosedSEC-bench Pro official leaderboard: selected 260617 and historical 260505 | 发布 2026-03-05报告 — | |
| 25%SEC-bench Pro · Completed 模式成功率 | 条件不完整 | 260617 / firefoxcompletedHeadline UI: fixed budget; Completed UI: within timeout. Published summary timeout_caps=[]; cap labels do not establish equal token or cost budgets.Codex | Not disclosedSEC-bench Pro official leaderboard: selected 260617 and historical 260505 | 发布 2026-03-05报告 — | |
| 52.6%SEC-bench Pro · Headline 成功率 | 条件不完整 | 260617 / linuxheadlineHeadline UI: fixed budget; Completed UI: within timeout. Published summary timeout_caps=["1.5h"]; cap labels do not establish equal token or cost budgets.Codex | Not disclosedSEC-bench Pro official leaderboard: selected 260617 and historical 260505 | 发布 2026-03-05报告 — | |
| 56.5%SEC-bench Pro · Completed 模式成功率 | 条件不完整 | 260617 / linuxcompletedHeadline UI: fixed budget; Completed UI: within timeout. Published summary timeout_caps=["1.5h"]; cap labels do not establish equal token or cost budgets.Codex | Not disclosedSEC-bench Pro official leaderboard: selected 260617 and historical 260505 | 发布 2026-03-05报告 — | |
| 0.4 percentage pointsAlignment faking · Compliance gap | 条件不完整 | Alignment FakingCompliance gap— | MetaEvaluating DeepSeek v4 Pro for Frontier Risks | 发布 2026-03-05报告 2026-05-29 | |
| 0%Alignment faking · Deceptive alignment rate | 条件不完整 | Alignment FakingDeceptive alignment rate— | MetaEvaluating DeepSeek v4 Pro for Frontier Risks | 发布 2026-03-05报告 2026-05-29 |
开发者披露
当前目录尚未关联到该具体模型的开发者安全报告。
外部评估
Neo Research
Early Results on Evaluating GLM 5.2 for Behavioral and Persuasion Risks →
报告记录随情境变化的行为和不确定的显式评测感知下降;不表达不代表没有感知。
2026-07-03按风险主题组织的证据
自主性 2 项协议结果
METR Time Horizon 1.1 →
外部评测 · 执行方 METR
- 50% 成功率任务跨度
- 341.74 min
- 80% 成功率任务跨度
- 53.88 min
任务数和权重受来源任务及脚手架覆盖影响,见方法说明。
Agentic Misalignment →
引用结果 · 执行方 Meta · 原始执行方 Meta
- deliberate harmful action rate
- 0%
原文未披露本结果的样本量
欺骗 7 项协议结果
DeceptionBench →
引用结果 · 执行方 Meta · 原始执行方 Meta
- deception score: single-turn
- 1.2%
原文未披露本结果的样本量
DeceptionBench →
引用结果 · 执行方 Meta · 原始执行方 Meta
- deception score: multi-turn w pressure
- 1.5%
原文未披露本结果的样本量
Alignment faking →
引用结果 · 执行方 Meta · 原始执行方 Meta
- Compliance gap
- 0.4 percentage points
原文未披露本结果的样本量
Alignment faking →
引用结果 · 执行方 Meta · 原始执行方 Meta
- Deceptive alignment rate
- 0%
原文未披露本结果的样本量
Agentic Misalignment →
引用结果 · 执行方 Meta · 原始执行方 Meta
- deliberate harmful action rate
- 0%
原文未披露本结果的样本量
DeceptionBench →
引用结果 · 执行方 Meta · 原始执行方 Meta
- DeceptionBench deception score
- 1.2%
原文未披露本结果的样本量
DeceptionBench →
引用结果 · 执行方 Meta · 原始执行方 Meta
- DeceptionBench deception score
- 1.5%
原文未披露本结果的样本量
网络安全 13 项协议结果
CyberGym · level1 · score_10 →
外部评测 · 执行方
- 成功率
- 73.8%
原文未披露本结果的样本量
CyberGym · level1 · score_10 →
外部评测 · 执行方
- 成功率
- 79%
原文未披露本结果的样本量
CyberGym · level1 · score_10 →
外部评测 · 执行方
- 成功率
- 66.3%
原文未披露本结果的样本量
ExploitGym · v1 · on_target →
外部评测 · 执行方
- 指定目标成功数
- 61 count
原文未披露本结果的样本量
SEC-bench Pro · 260617 / overall · headline →
外部评测 · 执行方
- Headline 成功率
- 39%
134/344
SEC-bench Pro · 260617 / overall · completed →
外部评测 · 执行方
- Completed 模式成功率
- 40.5%
132/326
SEC-bench Pro · 260617 / v8 · headline →
外部评测 · 执行方
- Headline 成功率
- 35%
36/103
SEC-bench Pro · 260617 / v8 · completed →
外部评测 · 执行方
- Completed 模式成功率
- 36.7%
36/98
SEC-bench Pro · 260617 / firefox · headline →
外部评测 · 执行方
- Headline 成功率
- 25%
26/104
SEC-bench Pro · 260617 / firefox · completed →
外部评测 · 执行方
- Completed 模式成功率
- 25%
26/104
SEC-bench Pro · 260617 / linux · headline →
外部评测 · 执行方
- Headline 成功率
- 52.6%
72/137
SEC-bench Pro · 260617 / linux · completed →
外部评测 · 执行方
- Completed 模式成功率
- 56.5%
70/124
CTF-Archive-Diamond →
外部评测 · 执行方 美国 NIST/CAISI
- benchmark_score
- 54.4%
原文未披露本结果的样本量
化生放核 1 项协议结果
WMDP →
引用结果 · 执行方 Meta · 原始执行方 Meta
- accuracy
- 80.1%
原文未披露本结果的样本量
虚假信息与影响 未关联结构化结果
目录缺口不代表低风险。尚未提取的发现及协议范围请见关联报告。
自主物理危害 未关联结构化结果
目录缺口不代表低风险。尚未提取的发现及协议范围请见关联报告。
来源核查与证据缺口
CyberGym →
整理 CyberGym 官网报告的评测结果,保留受测系统和运行配置。
官网收录不同配置下的系统提交。本结果的任务数、预算和执行日期未完整披露;未定义指标及身份待核实行已排除。JSON 原始比例按官网展示规则乘以 100 并保留一位小数,转换为百分比。
ExploitGym →
整理 ExploitGym 官网报告的评测结果,保留受测系统和运行配置。
指定目标成功与 Flag 获取是不同的计数。任务版本和超时截点分别保留,不将目录总任务数视为各提交的分母。
SEC-bench Pro →
整理 SEC-bench Pro 官网报告的评测结果,保留受测系统和运行配置。
Headline 与 Completed 使用不同纳入规则,分子与分母都可能变化。模型提供方及服务后端不等于实际评测方。
Evaluating DeepSeek v4 Pro for Frontier Risks →
对 Neo Research · DeepSeek V4 Pro 的逐来源提取与核查,发现和数值均保留原始归属。
来源转录不等于实验复现。未确定的日期、执行方及配置保留为未知;原文分组不作为经核验排名。
Early Results on Evaluating GLM 5.2 for Behavioral and Persuasion Risks →
对 Neo Research · GLM-5.2 的逐来源提取与核查,发现和数值均保留原始归属。
来源转录不等于实验复现。未确定的日期、执行方及配置保留为未知;原文分组不作为经核验排名。
GLM-5.2 Risk Evaluation Report, Version 1.1 →
对 SaferAI · GLM-5.2 的逐来源提取与核查,发现和数值均保留原始归属。
来源转录不等于实验复现。未确定的日期、执行方及配置保留为未知;原文分组不作为经核验排名。
CAISI Evaluation of DeepSeek V4 Pro →
对 CAISI · DeepSeek V4 Pro 的逐来源提取与核查,发现和数值均保留原始归属。
来源转录不等于实验复现。未确定的日期、执行方及配置保留为未知;原文分组不作为经核验排名。
缺失分数可能来自尚未提取的章节、未披露配置、身份待核实或尚无实验。这些问题需要分别处理,均不代表零分。
解读与开放问题
报告差异可能来自任务选择、模型端点、提示、预算、判别器和发表时间。证据依据实际协议分组,不推断模型整体安全等级。
参考文献
- [1] OpenAI — introducing gpt 5 4 ; Publication date and availability section; Parameter counts not disclosed in launch article
- [2] METR Time Horizon 1.1 — source data ; results.gpt_5_4
- [3] Evaluating DeepSeek v4 Pro for Frontier Risks. 2026-05-29. v1.1 · 29 May 2026 ; PDF p. 9; WMDP-Cyber; accuracy; PDF p. 27; DeceptionBench; deception score: single-turn; PDF p. 27; DeceptionBench; deception score: multi-turn w pressure
- [4] Early Results on Evaluating GLM 5.2 for Behavioral and Persuasion Risks. 2026-07-03. 3 July 2026 ; #behavioral; Figure 2 / deceptionbench.png; printed label GPT-5.4 / single-turn; #behavioral; Figure 2 / deceptionbench.png; printed label GPT-5.4 / multi-turn with pressure
- [5] GLM-5.2 Risk Evaluation Report. 2026-08-02. v1.1 · revised 26 August 2026
- [6] CAISI Evaluation of DeepSeek V4 Pro. 2026-05-01. 1 May 2026 ; Figure 3(b), CTF-Archive Diamond, legend GPT-5.4 (xhigh)
- [7] CyberGym official leaderboard and machine-data extraction ; /level1/26/subRows/0/score_10; /level1/50/score_10; /level1/54/score_10
- [8] ExploitGym official leaderboard and benchmark page ; /results/4/on_target
- [9] SEC-bench Pro official leaderboard: selected 260617 and historical 260505 ; /0/results/1/score_modes/headline/score; /0/results/1/score_modes/completed/score; /1/results/1/score_modes/headline/score