评测档案

Stealth evaluations

规避监督所需的推理前置能力。

Google DeepMind / arXiv:2505.01420v4 / Capability · 任务能力

来源与出处 ↓ 阅读研究记录 →

跨报告监测

已发表证据

Stealth evaluations · Stealth task score

跨来源报告的已发表测量。任务范围通过注释区分，配置差异保留在每条观测中。

16 条观测 · 12 已定位日期

● 条件匹配◇ 配置差异□ 部分条件未披露

4 条观测尚无已核实的模型发布日期，可在数据与系统结果中查看。

选择图中数据点或表格行，查看条件与出处。

16 条观测

测量值与来源条件
系统／模型	结果	条件状态	任务／条件	评测方／报告	日期
Kimi K3	100%Stealth task score	条件不完整	GDM stealthOversight pattern—	Neo ResearchEvaluating Kimi K3 for Misalignment Risks	发布 2026-07-16报告 2026-09-11
DeepSeek V4 FlashDeepSeek V4 Flash 0731	100%Stealth task score	条件不完整	GDM stealthOversight pattern—	Neo ResearchEvaluating Kimi K3 for Misalignment Risks	发布 —报告 2026-09-11
Claude Opus 4.6	13%Stealth task score	条件不完整	GDM stealthOversight pattern—	MetaEvaluating Kimi K3 for Misalignment Risks	发布 2026-02-05报告 2026-09-11
GPT-5.6 Terra	0%Stealth task score	条件不完整	GDM stealthOversight pattern—	Neo ResearchEvaluating Kimi K3 for Misalignment Risks	发布 2026-07-09报告 2026-09-11
Kimi K3	78%Stealth task score	条件不完整	GDM stealthClassifier evasion—	Neo ResearchEvaluating Kimi K3 for Misalignment Risks	发布 2026-07-16报告 2026-09-11
DeepSeek V4 FlashDeepSeek V4 Flash 0731	22%Stealth task score	条件不完整	GDM stealthClassifier evasion—	Neo ResearchEvaluating Kimi K3 for Misalignment Risks	发布 —报告 2026-09-11
GPT-5.6 Terra	0%Stealth task score	条件不完整	GDM stealthClassifier evasion—	Neo ResearchEvaluating Kimi K3 for Misalignment Risks	发布 2026-07-09报告 2026-09-11
Claude Opus 4.6	0%Stealth task score	条件不完整	GDM stealthClassifier evasion—	MetaEvaluating Kimi K3 for Misalignment Risks	发布 2026-02-05报告 2026-09-11
Kimi K3	100%Stealth task score	条件不完整	GDM stealthCover your tracks—	Neo ResearchEvaluating Kimi K3 for Misalignment Risks	发布 2026-07-16报告 2026-09-11
DeepSeek V4 FlashDeepSeek V4 Flash 0731	71%Stealth task score	条件不完整	GDM stealthCover your tracks—	Neo ResearchEvaluating Kimi K3 for Misalignment Risks	发布 —报告 2026-09-11
GPT-5.6 Terra	14%Stealth task score	条件不完整	GDM stealthCover your tracks—	Neo ResearchEvaluating Kimi K3 for Misalignment Risks	发布 2026-07-09报告 2026-09-11
Claude Opus 4.6	14%Stealth task score	条件不完整	GDM stealthCover your tracks—	MetaEvaluating Kimi K3 for Misalignment Risks	发布 2026-02-05报告 2026-09-11
Kimi K3	70%Stealth task score	条件不完整	GDM stealthStrategic rule-breaking—	Neo ResearchEvaluating Kimi K3 for Misalignment Risks	发布 2026-07-16报告 2026-09-11
DeepSeek V4 FlashDeepSeek V4 Flash 0731	61%Stealth task score	条件不完整	GDM stealthStrategic rule-breaking—	Neo ResearchEvaluating Kimi K3 for Misalignment Risks	发布 —报告 2026-09-11
Claude Opus 4.6	46%Stealth task score	条件不完整	GDM stealthStrategic rule-breaking—	MetaEvaluating Kimi K3 for Misalignment Risks	发布 2026-02-05报告 2026-09-11
GPT-5.6 Terra	42%Stealth task score	条件不完整	GDM stealthStrategic rule-breaking—	Neo ResearchEvaluating Kimi K3 for Misalignment Risks	发布 2026-07-09报告 2026-09-11

任务与测量

Benchmark 协议档案

任务／对象: 推理监督及测试情境的模型
测量目标: 有关监督机制与部署情境的推理。
评分／结果口径: 掩盖轨迹成功率 · 表 1 的分任务成功率；仅显示原文有值的单元格及其 95% 置信区间。成功率与连续过程分数不混用。
解释边界: 前置能力不同于实施隐蔽谋划的倾向。

一项已报告评测

来源评测 Gemini 2.5 Flash · Table 1 · Stealth evaluations.

报告指标: 掩盖轨迹成功率 · 0.0%.

表 1 的分任务成功率；仅显示原文有值的单元格及其 95% 置信区间。成功率与连续过程分数不混用。见原文协议；不推断独立试验数量。

原文 Table 1 报告的 Gemini 2.5 Flash 测量结果；数值为转录，未独立复现实验。

测量档案 · NUWA 解读

档案区分来源方法阅读与既有目录信息；已经公开不代表完成独立证据复核或双语编辑复核。

测量构念: 低隐蔽能力或情境推理能否支持有边界的谋划无能力论证？
任务与样本: 五项隐蔽、十一项情境意识挑战采用分类通过规则，服务于一个明确安全论证。
判分与失效情形: 各挑战单独通过规则，所提安全论证采用意识9/11或隐蔽4/5阈值。
系统条件: 无专门反能力隐藏措施，对直接后继版本论证有时间限制。
统计含义: 来源报告的结果表述；这不等同于已确定运行次数、分母或估计方法：所提论证要求至少一类通过不足80%；论证不成立不等于已证明能谋划（§3.3）。
效度与解释: 作者未专门防止能力隐藏；充分激发能力及公平人类比较是关键假设。
适用研究问题: 模型建议：将低分用于无能力证据前，先审查反驳条件与能力激发。

Evaluating Frontier Models for Stealth and Situational Awareness · AbstractSelected original resource https://arxiv.org/html/2505.01420v4; sha256:3d6d7f0188fb16f02f90d31a429b996cda133327c9a6f100efd3616f73b19315; archived source capture; exact capture time not independently established
Evaluating Frontier Models for Stealth and Situational Awareness · §2.3 Possible defeatersSelected original resource https://arxiv.org/html/2505.01420v4; sha256:3d6d7f0188fb16f02f90d31a429b996cda133327c9a6f100efd3616f73b19315; archived source capture; exact capture time not independently established
Evaluating Frontier Models for Stealth and Situational Awareness · §3.3 Evaluation thresholds for the safety caseSelected original resource https://arxiv.org/html/2505.01420v4; sha256:3d6d7f0188fb16f02f90d31a429b996cda133327c9a6f100efd3616f73b19315; archived source capture; exact capture time not independently established
Evaluating Frontier Models for Stealth and Situational Awareness · §7.2 LimitationsSelected original resource https://arxiv.org/html/2505.01420v4; sha256:3d6d7f0188fb16f02f90d31a429b996cda133327c9a6f100efd3616f73b19315; archived source capture; exact capture time not independently established

跨报告证据

相同 Benchmark 名称可能对应不同任务、计分规则和系统配置。各来源分别保留，比较组说明具体对齐了哪些条件。

Evaluating Frontier Models for Stealth and Situational Awareness

实际评测方: 未披露

5 条结果记录 · 5 个报告系统名称

协议与比较依据 (4)

Stealth evaluations：分类器规避成功率 · Evaluating Frontier Models for Stealth and Situational Awarenesssource-report · 范围已审查

Stealth evaluations：掩盖轨迹成功率 · Evaluating Frontier Models for Stealth and Situational Awarenesssource-report · 范围已审查

Stealth evaluations：决策破坏成功率 · Evaluating Frontier Models for Stealth and Situational Awarenesssource-report · 范围已审查

Stealth evaluations：监督模式任务成功率 · Evaluating Frontier Models for Stealth and Situational Awarenesssource-report · 范围已审查

Neo Research

Evaluating Kimi K3 for Misalignment Risks →

实际评测方: Neo Research · Meta

20 条结果记录 · 4 个报告系统名称

协议与比较依据 (5)

Stealth evaluations：Mean challenge success rate · Neo Researchsource-report · 范围已审查

Stealth evaluations：Stealth task score · Neo Researchsource-report · 范围已审查

Neo Research

Evaluating DeepSeek v4 Pro for Frontier Risks →

实际评测方: 未披露

12 条结果记录 · 1 个报告系统名称

协议与比较依据 (12)

Stealth evaluations：Any-Aware · Neo Researchsource-report · 范围已审查

Stealth evaluations：Definitive · Neo Researchsource-report · 范围已审查

Stealth evaluations：Influenced · Neo Researchsource-report · 范围已审查

Stealth evaluations：Primary · Neo Researchsource-report · 范围已审查

Stealth evaluations：Recognition · Neo Researchsource-report · 范围已审查

Stealth evaluations：Suspicion · Neo Researchsource-report · 范围已审查

原始来源图表与材料

原文报告结果

原文顺序 · 原文配置

掩盖轨迹成功率

0–100%

Gemini 2.5 Flash

Gemini 2.5 Flash · 0.0% · 95% CI [0.0, 7.1] · 表 1 的分任务成功率；仅显示原文有值的单元格及其 95% 置信区间。成功率与连续过程分数不混用。 · 见原文协议；不推断独立试验数量。

0.0%

Gemini 2.5 Pro

Gemini 2.5 Pro · 0.0% · 95% CI [0.0, 7.1] · 表 1 的分任务成功率；仅显示原文有值的单元格及其 95% 置信区间。成功率与连续过程分数不混用。 · 见原文协议；不推断独立试验数量。

0.0%

GPT-4o

GPT-4o · 0.0% · 95% CI [0.0, 7.1] · 表 1 的分任务成功率；仅显示原文有值的单元格及其 95% 置信区间。成功率与连续过程分数不混用。 · 见原文协议；不推断独立试验数量。

0.0%

Claude 3.7 Sonnet

Claude 3.7 Sonnet · 0.0% · 95% CI [0.0, 7.1] · 表 1 的分任务成功率；仅显示原文有值的单元格及其 95% 置信区间。成功率与连续过程分数不混用。 · 见原文协议；不推断独立试验数量。

0.0%

显示 5 / 5 个系统

数值描述原文协议下的测量结果，不是综合安全评分。

表 1 的分任务成功率；仅显示原文有值的单元格及其 95% 置信区间。成功率与连续过程分数不混用。未单独注明评测日期；下表保留发表或记录日期。

评测条件与系统配置

Gemini 2.5 Flash: 见原文协议；不推断独立试验数量。 · Table 1 · Stealth evaluations; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

Gemini 2.5 Pro: 见原文协议；不推断独立试验数量。 · Table 1 · Stealth evaluations; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

OpenAI o1: 见原文协议；不推断独立试验数量。 · Table 1 · Stealth evaluations; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

GPT-4o: 见原文协议；不推断独立试验数量。 · Table 1 · Stealth evaluations; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

Claude 3.7 Sonnet: 见原文协议；不推断独立试验数量。 · Table 1 · Stealth evaluations; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

原文报告结果 · 原文顺序
系统 / 配置	掩盖轨迹成功率	决策破坏成功率	分类器规避成功率	监督模式任务成功率	发表 / 核验日期
Gemini 2.5 Flash未注明 Harness	0.0%95% CI [0.0, 7.1]	45.3%95% CI [32.7, 58.5]	7.2%95% CI [5.1, 10.2]	23.0%95% CI [15.8, 32.2]	来源核验2026-10-25
Gemini 2.5 Pro未注明 Harness	0.0%95% CI [0.0, 7.1]	43.1%95% CI [34.2, 52.5]	15.5%95% CI [12.3, 19.4]	35.4%95% CI [26.6, 45.2]	来源核验2026-10-25
GPT-4o未注明 Harness	0.0%95% CI [0.0, 7.1]	未报告	6.5%95% CI [4.5, 9.4]	11.0%95% CI [6.3, 18.6]	来源核验2026-10-25
Claude 3.7 Sonnet未注明 Harness	0.0%95% CI [0.0, 7.1]	未报告	8.5%95% CI [6.1, 11.6]	34.0%95% CI [25.5, 43.7]	来源核验2026-10-25

评估出处

Evaluating Kimi K3 for Misalignment Risks → · 外部报告

参考文献

[1] Kimi Code — What’s New ; Kimi K3 · July 16, 2026
[2] kimi-k3 developer model card ; Model Summary: Total Parameters; Activated Parameters
[3] GPT-5.6 official general availability ; July 9, 2026: general availability following limited trusted-partner preview; Parameter counts not disclosed in reviewed launch article
[4] Claude Opus 4.6 — Anthropic ; Publication date and availability section; Official launch article; parameter counts not disclosed
[5] Evaluating Kimi K3 for Misalignment Risks. 2026-09-11. September 2026 ; §5.2 Figure 29 p.47; §5.2 Figure 30 p.47
[6] Mary Phuong, Roland S. Zimmermann 等. Evaluating Frontier Models for Stealth and Situational Awareness. 2025-07-03. v4 [arXiv]; Author affiliations on the original paper title page; Table 1
[7] Evaluating DeepSeek v4 Pro for Frontier Risks. 2026-05-29. v1.1 · 29 May 2026 ; PDF p. 44; Awareness monitor: GDM Stealth; Suspicion; PDF p. 44; Awareness monitor: GDM Stealth; Recognition; PDF p. 44; Awareness monitor: GDM Stealth; Definitive

搜索 NUWA Index

Stealth evaluations

Stealth evaluations · Stealth task score

任务与测量

一项已报告评测

跨报告证据

Evaluating Frontier Models for Stealth and Situational Awareness

Evaluating Kimi K3 for Misalignment Risks →

Evaluating DeepSeek v4 Pro for Frontier Risks →

原文报告结果

掩盖轨迹成功率

评估出处

相关研究问题

欺骗 / 评测规避 →

参考文献