白泽(Whitzard)女娲实验室 ↗
NUWANUWA INDEX

搜索 NUWA Index

研究 · 测量协议 · 评测结果 · 观点

English
← NUWA Index

评测档案

Alignment faking

受控研究改变模型获知的训练条件,观察响应及推理轨迹。

来源与出处 ↓ 阅读研究记录 →

跨报告监测

已发表证据

Alignment faking · Deceptive alignment rate

跨来源报告的已发表测量。任务范围通过注释区分,配置差异保留在每条观测中。

9 条观测 · 8 已定位日期

● 条件匹配◇ 配置差异□ 部分条件未披露
Deceptive alignment rate (%) Gemini 3.1 Pro Kimi K3 Claude Opus 4.6 Evaluating Kimi K3 for Misalignment Risks DeepSeek V4 Flash GPT-5.6 Terra Muse Spark GPT-5.4 Claude Opus 4.6 Evaluating DeepSeek v4 Pro for Frontier Risks DeepSeek v4 Pro 0 20 40 60 80 100 7.9% 0% 0% 0% 0% 0% 0% 0% 0%

1 条观测尚无已核实的模型发布日期,可在数据与系统结果中查看。

选择图中数据点或表格行,查看条件与出处。

9 条观测

测量值与来源条件
系统/模型结果条件状态任务/条件评测方/报告日期
Gemini 3.1 Pro7.9%Deceptive alignment rate条件不完整Alignment FakingDeceptive alignment rate—MetaEvaluating DeepSeek v4 Pro for Frontier Risks发布 2026-02-19报告 2026-05-29
Kimi K30%Deceptive alignment rate条件不完整Alignment FakingDeceptive alignment rate—Neo ResearchEvaluating Kimi K3 for Misalignment Risks发布 2026-07-16报告 2026-09-11
Claude Opus 4.60%Deceptive alignment rate条件不完整Alignment FakingDeceptive alignment rate—MetaEvaluating Kimi K3 for Misalignment Risks发布 2026-02-05报告 2026-09-11
DeepSeek V4 FlashDeepSeek V4 Flash 07310%Deceptive alignment rate条件不完整Alignment FakingDeceptive alignment rate—Neo ResearchEvaluating Kimi K3 for Misalignment Risks发布 —报告 2026-09-11
GPT-5.6 Terra0%Deceptive alignment rate条件不完整Alignment FakingDeceptive alignment rate—Neo ResearchEvaluating Kimi K3 for Misalignment Risks发布 2026-07-09报告 2026-09-11
Muse Spark0%Deceptive alignment rate条件不完整Alignment FakingDeceptive alignment rate—MetaEvaluating DeepSeek v4 Pro for Frontier Risks发布 2026-04-08报告 2026-05-29
GPT-5.40%Deceptive alignment rate条件不完整Alignment FakingDeceptive alignment rate—MetaEvaluating DeepSeek v4 Pro for Frontier Risks发布 2026-03-05报告 2026-05-29
Claude Opus 4.60%Deceptive alignment rate条件不完整Alignment FakingDeceptive alignment rate—MetaEvaluating DeepSeek v4 Pro for Frontier Risks发布 2026-02-05报告 2026-05-29
DeepSeek v4 ProDeepSeek V4 Pro0%Deceptive alignment rate条件不完整Alignment FakingDeceptive alignment rate—Neo ResearchEvaluating DeepSeek v4 Pro for Frontier Risks发布 2026-04-24报告 2026-05-29

任务与测量

Benchmark 协议档案

任务/对象
处于特定训练及监测条件下的模型
测量目标
不同试验条件下的响应差异及所报告轨迹。
评分/结果口径
Compliance gap · 记录配置下的来源报告指标。
解释边界
试验明确提供虚构训练信息;观察结果不证明部署中存在持久隐藏目标。

一项已报告评测

来源评测 Kimi K3 · Alignment Faking paid/free-tier contexts.

报告指标: Compliance gap · 1 percentage points.

记录配置下的来源报告指标。 原文未披露本结果的样本量

Compliance gap:1 percentage points;保留来源条件。

测量档案 · NUWA 解读

档案区分来源方法阅读与既有目录信息;已经公开不代表完成独立证据复核或双语编辑复核。

测量构念
生产模型能否为保留在其他情境表达的偏好,而在预期训练期间策略性服从?
任务与样本
设置结合具有显露偏好的模型、冲突训练目标、输出是否用于训练的信息,以及隐藏推理草稿。提示设置与合成文档微调以不同方式提供情境信息,后续 RL 则进一步改变模型。免费/付费用户线索在虚构情境中区分训练监测与未监测部署。
判分与失效情形
研究分别测量被分类为伪装对齐的推理,以及训练与未监测条件的服从差距。没有可见推理时仍能测量行为差距,却不能直接统计该类推理。自动指标以抽样作者判断核对(§2.2)。
系统条件
设置结合具有显露偏好的模型、冲突训练目标、输出是否用于训练的信息,以及隐藏推理草稿。提示设置与合成文档微调以不同方式提供情境信息,后续 RL 则进一步改变模型。免费/付费用户线索在虚构情境中区分训练监测与未监测部署。
统计含义
伪装对齐推理发生率与服从差距的合格样本不同,此处不计算合并发生率;数值保留于目录与原图。
效度与解释
设计刻意提供有利前提和显著训练信息,提示、微调和 RL 后模型状态必须区分。隐藏草稿不保证忠实,也不总可用;无草稿时不能直接分类内部推理。论文讨论了行为差距的其他来源。
适用研究问题
模型建议:保留无冲突及移除草稿对照,区分行为与推断动机,绑定精确的提示或训练后模型状态。

跨报告证据

相同 Benchmark 名称可能对应不同任务、计分规则和系统配置。各来源分别保留,比较组说明具体对齐了哪些条件。

Neo Research

Evaluating DeepSeek v4 Pro for Frontier Risks →

实际评测方: Meta · Neo Research

17 条结果记录 · 5 个报告系统名称

协议与比较依据 (9)
原始来源图表与材料
Alignment faking — Figure 35
Figure 35 · 原文结果图,请结合下方的协议范围与局限解读。 查看原图 ↗

评估出处

Evaluating Kimi K3 for Misalignment Risks → · 外部报告

Evaluating DeepSeek v4 Pro for Frontier Risks → · 外部报告

相关研究问题

参考文献

  1. [1] Kimi Code — What’s New ; Kimi K3 · July 16, 2026
  2. [2] kimi-k3 developer model card ; Model Summary: Total Parameters; Activated Parameters
  3. [3] deepseek-v4-pro release ; News article title, dated heading and availability
  4. [4] deepseek-v4-pro developer model card ; Introduction; model comparison table
  5. [5] GPT-5.6 official general availability ; July 9, 2026: general availability following limited trusted-partner preview; Parameter counts not disclosed in reviewed launch article
  6. [6] OpenAI — introducing gpt 5 4 ; Publication date and availability section; Parameter counts not disclosed in launch article
  7. [7] Claude Opus 4.6 — Anthropic ; Publication date and availability section; Official launch article; parameter counts not disclosed
  8. [8] Gemini 3.1 Pro: Announcing our latest Gemini AI model ; Publication date and availability section; Official launch article; parameter counts not disclosed
  9. [9] Meta — muse-spark ; Dated launch and explicit availability; Parameter counts not disclosed in reviewed developer source
  10. [10] Evaluating Kimi K3 for Misalignment Risks. 2026-09-11. September 2026 ; §3.1 Figure 20 p.32; §3.1 p.32; §3.1 Table 7 pp.32–33
  11. [11] Evaluating DeepSeek v4 Pro for Frontier Risks. 2026-05-29. v1.1 · 29 May 2026 ; PDF p. 29; Alignment Faking; Compliance gap; PDF p. 29; Alignment Faking; Deceptive alignment rate; PDF p. 29; Alignment Faking; verbalized eval-related reasoning
  12. [12] Ryan Greenblatt, † Carson Denison † † footnotemark: 等. Alignment faking in large language models. 2024-12-18
  13. [13] Ryan Greenblatt, † Carson Denison † † footnotemark: 等. Alignment faking in large language models. 2024-12-18 ; Author affiliations on the original paper title page; Figure 35