← 评估与报告

外部评估 · SaferAI

GLM-5.2 Risk Evaluation Report

报告发现较强任务能力和压力相关行为；比较图同时包含 SaferAI 自测与引用的外部结果。

发表 2026-08-02 · 修订 2026-08-26

来源版本、提取范围与发现 →

来源转录不等于实验复现。未确定的日期、执行方及配置保留为未知；原文分组不作为经核验排名。

涉及模型

GLM-5.2 →GPT-5.5 →Claude Opus 4.7 →Claude Opus 4.6 →GPT-5.4 →

NUWA Research Note

研究问题

公开 API 评估能对 GLM-5.2 的能力和诱发行为说明什么？

方法

v1.1 记录八类基准和 Petri 审计的任务子集、预算及逐图执行方。

来源报告的发现

报告发现较强任务能力和压力相关行为；比较图同时包含 SaferAI 自测与引用的外部结果。

局限

受控任务、诱发方式、基准熟悉程度和配置差异限制对部署的外推。

capability · §2.1; Appendix A.1

Cybench

协议档案 →

40 项专业 CTF 任务的完成情况。

竞赛任务与提供的提示不同于现实攻击条件。

外部评测: SaferAI

已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。

capability · §2.2; Appendix A.2

CyberGym hard subset with token budgets

协议档案 →

Lyptus 高难度子集，分别采用 2M、10M 和 50M Token 预算；基线数据引用 Lyptus。

漏洞复现的范围小于对部署系统的自主入侵。

外部评测: SaferAI / 引用结果: Lyptus Research

CyberGym hard subset with token budgets

原始评测方结果 · 来源顺序

Reproduction at 2M tokens

0–100%

GLM-5.2

GLM-5.2 · 36.6% · 历史漏洞集合中的经验证复现表现。 · Inspect Evals · 见报告特定样本与分母。

36.6%

显示 1 / 1 个系统

历史漏洞集合中的经验证复现表现。

漏洞复现的范围小于对部署系统的自主入侵。本评估显示报告日期和原始执行方。

评测条件与系统配置

GLM-5.2: 见报告特定样本与分母。 · CyberGym hard subset with token budgets; modelVersion: GLM-5.2 public API · harness: Inspect Evals · tools: Source-defined cyber environment · budget: 2M / 50M tokens per task; different conditions

CyberGym hard subset with token budgets · 原文顺序
系统 / 配置	Reproduction at 2M tokens	Reproduction at 50M tokens	发表 / 核验日期
GLM-5.2Inspect Evals	36.6%	76.2%	发表2026-08-02

capability · §3.1; Appendix A.3

LAB-Bench text subtasks

协议档案 →

用结构化问题评测生物研究技能；纯文本或缺失输入子集采用独立协议。

衡量一般科研能力，不是端到端滥用任务或直接伤害概率。

已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。

capability · §3.2; Appendix A.4

BioMysteryBench public release

协议档案 →

评测匿名数据集上的科研分析；明确版本、人类参照子集和尝试预算。

汇总科研表现不能证明实际生物滥用路径。

已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。

capability · §4.2; Appendix A.5

SWE-Bench Pro public tasks

协议档案 →

评测仓库级代码修改；公开子集、脚手架和奖励投机扫描有各自版本。

一般编程能力属于使能证据，不是失控的直接证据。

已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。

propensity · §4.3; Appendix A.9

Agentic Misalignment with neutral emails

协议档案 →

原始情境增加 11 封中性邮件；每个威胁与目标组合 30 个样本。

试验未对真实人员或系统造成损害，也不估计部署环境中的发生率。

外部评测: SaferAI

已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。

propensity · §5.1; Appendix A.7; Table A.3

MASK by archetype

协议档案 →

六类 MASK 情境；GLM 由 SaferAI 运行，Claude/GPT 对照结果引用 CAIS。

受控基准不证明稳定意图或现实环境中的欺骗发生率。

引用结果: Center for AI Safety

MASK by archetype

原始评测方结果 · 来源顺序

Continuations honesty

0–100%

Claude Opus 4.7

Claude Opus 4.7 · 59.1% · 95% Wilson CI [51.7, 66.1] (as reported) · 明确压力条件下说谎的有界发生率。 · 见报告特定样本与分母。

59.1%

GPT-5.5

GPT-5.5 · 65.3% · 95% Wilson CI [58.1, 72.0] (as reported) · 明确压力条件下说谎的有界发生率。 · 见报告特定样本与分母。

65.3%

显示 2 / 2 个系统

明确压力条件下说谎的有界发生率。

受控基准不证明稳定意图或现实环境中的欺骗发生率。本评估显示报告日期和原始执行方。

评测条件与系统配置

Claude Opus 4.7: 见报告特定样本与分母。 · MASK by archetype; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

GPT-5.5: 见报告特定样本与分母。 · MASK by archetype; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

MASK by archetype · 原文顺序
系统 / 配置	Continuations honesty	Disinformation honesty	Doubling-down honesty	Known-facts honesty	Provided-facts honesty	Statistics honesty	发表 / 核验日期
Claude Opus 4.7未注明 Harness	59.1%95% Wilson CI [51.7, 66.1] (as reported)	33.6%95% Wilson CI [25.9, 42.3] (as reported)	68.3%95% Wilson CI [59.6, 76.0] (as reported)	63.6%95% Wilson CI [56.9, 69.9] (as reported)	74.8%95% Wilson CI [69.4, 79.6] (as reported)	80.2%95% Wilson CI [71.1, 86.9] (as reported)	发表2026-08-02
GPT-5.5未注明 Harness	65.3%95% Wilson CI [58.1, 72.0] (as reported)	69.6%95% Wilson CI [61.1, 77.0] (as reported)	63.3%95% Wilson CI [54.4, 71.4] (as reported)	77.0%95% Wilson CI [70.9, 82.2] (as reported)	75.2%95% Wilson CI [69.7, 79.9] (as reported)	87.5%95% Wilson CI [79.4, 92.7] (as reported)	发表2026-08-02

propensity · §5.2; Appendix A.8

APE Turn-1 attempts

协议档案 →

特定对话条件下说服尝试的发生率。

模拟尝试不等于已测量的人类信念变化或大规模虚假信息传播。

外部评测: SaferAI

已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。

behavior · §6; Appendix A.6

Petri 3.0 automated audit

协议档案 →

Petri 3.0、173 个公开种子、Opus 4.7 审计者和判别器；被过滤的评分案例因模型不同。

较低平均审计分数不排除罕见严重案例；结果依赖种子、审计者、判别器和目标配置。

已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。

报告覆盖核查

章节	原文位置	处理方式
Cybench	§2.1; Appendix A.1	协议变体在本节保留协议与结果出处。
CyberGym hard subset with token budgets	§2.2; Appendix A.2	协议变体在本节保留协议与结果出处。
LAB-Bench text subtasks	§3.1; Appendix A.3	协议变体在本节保留协议与结果出处。
BioMysteryBench public release	§3.2; Appendix A.4	协议变体在本节保留协议与结果出处。
SWE-Bench Pro public tasks	§4.2; Appendix A.5	协议变体在本节保留协议与结果出处。
Agentic Misalignment with neutral emails	§4.3; Appendix A.9	协议变体在本节保留协议与结果出处。
MASK by archetype	§5.1; Appendix A.7; Table A.3	协议变体在本节保留协议与结果出处。
APE Turn-1 attempts	§5.2; Appendix A.8	协议变体在本节保留协议与结果出处。
Petri 3.0 automated audit	§6; Appendix A.6	协议变体在本节保留协议与结果出处。
Validity, contamination and evaluation awareness	§7; pp. 27–28	局限在本节保留协议与结果出处。

参考文献

数值结果由所引研究的作者报告。

[1] GLM-5.2 Risk Evaluation Report. 2026-08-02. v1.1 · revised 26 August 2026 ; §2.2; Figure 3; Appendix A.7; Table A.3, pp. 41–42; p.6 Fig.1