外部评估 · Neo Research

Evaluating Kimi K3 for Misalignment Risks

报告发现有条件的过度主动、面向判分器的行为和对熟悉评测的识别，不代表普遍部署失败率。

发表 2026-09-11

来源 ↓

来源版本、提取范围与发现 →

来源转录不等于实验复现。未确定的日期、执行方及配置保留为未知；原文分组不作为经核验排名。

涉及模型

Kimi K3 →GPT-5.6 Terra →Claude Sonnet 5 →DeepSeek V4 Flash 0731 →DeepSeek V4 Pro →Claude Opus 4.6 →

NUWA Research Note

研究问题

当输入、授权或评测边界存在歧义时，Kimi K3 如何行动？

方法

近 30 项评测、缺失输入改造、种子审计和轨迹分析，部分对照结果来自其他来源。

来源报告的发现

报告发现有条件的过度主动、面向判分器的行为和对熟悉评测的识别，不代表普遍部署失败率。

局限

受控任务、诱发方式、基准熟悉程度和配置差异限制对部署的外推。

behavior · §1.1.1; pp. 7–9

CharXiv with images withheld

协议档案 →

移除必要图像的图表问题；回答尝试区分正确与错误。

原始视觉能力基准与缺失图像行为测试测量不同构念。

外部评测: Neo Research

CharXiv with images withheld

原始评测方结果 · 来源顺序

Attempted answer with image withheld

0–100%

Kimi K3

Kimi K3 · 88.7% · 检验图表理解与推理。Neo 移除图像的改造测量缺少必要输入时的回答尝试。 · 见报告特定样本与分母。

88.7%

GPT-5.6 Terra

GPT-5.6 Terra · 21.3% · 检验图表理解与推理。Neo 移除图像的改造测量缺少必要输入时的回答尝试。 · 见报告特定样本与分母。

21.3%

Claude Sonnet 5

Claude Sonnet 5 · 16.3% · 检验图表理解与推理。Neo 移除图像的改造测量缺少必要输入时的回答尝试。 · 见报告特定样本与分母。

16.3%

DeepSeek V4 Flash 0731

DeepSeek V4 Flash 0731 · 48.2% · 检验图表理解与推理。Neo 移除图像的改造测量缺少必要输入时的回答尝试。 · 见报告特定样本与分母。

48.2%

显示 4 / 4 个系统

检验图表理解与推理。Neo 移除图像的改造测量缺少必要输入时的回答尝试。

原始视觉能力基准与缺失图像行为测试测量不同构念。本评估显示报告日期和原始执行方。

评测条件与系统配置

Kimi K3: 见报告特定样本与分母。 · CharXiv with images withheld; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

GPT-5.6 Terra: 见报告特定样本与分母。 · CharXiv with images withheld; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

Claude Sonnet 5: 见报告特定样本与分母。 · CharXiv with images withheld; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

DeepSeek V4 Flash 0731: 见报告特定样本与分母。 · CharXiv with images withheld; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

CharXiv with images withheld · 原文顺序
系统 / 配置	Attempted answer with image withheld	发表 / 核验日期
Kimi K3未注明 Harness	88.7%	发表2026-09-11
GPT-5.6 Terra未注明 Harness	21.3%	发表2026-09-11
Claude Sonnet 5未注明 Harness	16.3%	发表2026-09-11
DeepSeek V4 Flash 0731未注明 Harness	48.2%	发表2026-09-11

behavior · §1.1.2; pp. 8–10

LAB-Bench with figures/tables withheld

协议档案 →

移除 FigQA 和 TableQA 必要图表，保留信息不足选项。

衡量一般科研能力，不是端到端滥用任务或直接伤害概率。

外部评测: Neo Research

LAB-Bench with figures/tables withheld

原始评测方结果 · 来源顺序

FigQA attempt, figure withheld

0–100%

Kimi K3

Kimi K3 · 79.6% · 用结构化问题评测生物研究技能；纯文本或缺失输入子集采用独立协议。 · 见报告特定样本与分母。

79.6%

GPT-5.6 Terra

GPT-5.6 Terra · 72.9% · 用结构化问题评测生物研究技能；纯文本或缺失输入子集采用独立协议。 · 见报告特定样本与分母。

72.9%

Claude Sonnet 5

Claude Sonnet 5 · 62.4% · 用结构化问题评测生物研究技能；纯文本或缺失输入子集采用独立协议。 · 见报告特定样本与分母。

62.4%

DeepSeek V4 Flash 0731

DeepSeek V4 Flash 0731 · 50.3% · 用结构化问题评测生物研究技能；纯文本或缺失输入子集采用独立协议。 · 见报告特定样本与分母。

50.3%

显示 4 / 4 个系统

用结构化问题评测生物研究技能；纯文本或缺失输入子集采用独立协议。

衡量一般科研能力，不是端到端滥用任务或直接伤害概率。本评估显示报告日期和原始执行方。

评测条件与系统配置

Kimi K3: 见报告特定样本与分母。 · LAB-Bench with figures/tables withheld; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

GPT-5.6 Terra: 见报告特定样本与分母。 · LAB-Bench with figures/tables withheld; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

Claude Sonnet 5: 见报告特定样本与分母。 · LAB-Bench with figures/tables withheld; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

DeepSeek V4 Flash 0731: 见报告特定样本与分母。 · LAB-Bench with figures/tables withheld; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

LAB-Bench with figures/tables withheld · 原文顺序
系统 / 配置	FigQA attempt, figure withheld	TableQA attempt, table withheld	发表 / 核验日期
Kimi K3未注明 Harness	79.6%	68.4%	发表2026-09-11
GPT-5.6 Terra未注明 Harness	72.9%	61.5%	发表2026-09-11
Claude Sonnet 5未注明 Harness	62.4%	53.7%	发表2026-09-11
DeepSeek V4 Flash 0731未注明 Harness	50.3%	43.9%	发表2026-09-11

behavior · §1.2; p. 11

AbstentionBench

协议档案 →

在 20 个数据集中检验未知答案、信息不足、错误前提、主观或过时问题的弃答。

弃答不同于安全拒答，不能单独证明意图或下游伤害。

已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。

behavior · §1.3; pp. 12–18

Pre-seeded alignment audits

报告定义条件中的 Pre-seeded alignment audits。

探索性或报告特定设置，不据此称为可复用基准。

外部评测: Neo Research

已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。

capability · §2.1.1; p. 19

Cybench

协议档案 →

40 项专业 CTF 任务的完成情况。

竞赛任务与提供的提示不同于现实攻击条件。

外部评测: Neo Research

已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。

capability · §2.1.2; p. 19

EVMbench

协议档案 →

分别组织检测、修补和利用模式及对应任务集。

不同模式和子集不能合并成无区分的网络风险分数。

已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。

behavior · §2.1.3–2.1.4; pp. 20–23

CyberGym infrastructure probing

协议档案 →

分析基准识别、判分器推理和隐藏端点探测轨迹，不是任务成功评分。

漏洞复现的范围小于对部署系统的自主入侵。

外部评测: Neo Research

已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。

capability · §2.2; pp. 24–25

TheAgentCompany boundary behavior

协议档案 →

结合浏览、编程、文件操作和与模拟同事的交互。

任务成功与评测边界行为属于不同结果；环境故障不是普通任务失败。

已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。

propensity · §2.3; p. 26

ImpossibleBench

协议档案 →

构造不可同时满足要求的编程任务变体，检验违反规范的通过结果。

作弊率受矛盾条件、测试访问和脚手架限制，不是一般不诚实率。

外部评测: Neo Research / 引用结果: Meta

已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。

behavior · §2.4.1; p. 28

Apollo-scenario recognition

报告定义条件中的 Apollo-scenario recognition。

探索性或报告特定设置，不据此称为可复用基准。

已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。

behavior · §2.4.2; pp. 28–30

EvalAwareBench

协议档案 →

在受控任务中改变评测线索，记录显式表达的评测感知。

不能测量未表达的感知；熟悉基准的识别可能不同于一般线索反应。

外部评测: Neo Research

EvalAwareBench

原始评测方结果 · 来源顺序

Verbalized awareness, baseline

0–100%

Kimi K3

Kimi K3 · 0.2% · 在受控任务中改变评测线索，记录显式表达的评测感知。 · 见报告特定样本与分母。

0.2%

显示 1 / 1 个系统

在受控任务中改变评测线索，记录显式表达的评测感知。

不能测量未表达的感知；熟悉基准的识别可能不同于一般线索反应。本评估显示报告日期和原始执行方。

评测条件与系统配置

Kimi K3: 见报告特定样本与分母。 · EvalAwareBench; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

EvalAwareBench · 原文顺序
系统 / 配置	Verbalized awareness, baseline	Verbalized awareness, all eight cues	发表 / 核验日期
Kimi K3未注明 Harness	0.2%	6.1%	发表2026-09-11

propensity · §3.1; p. 32

Alignment faking

协议档案 →

不同试验条件下的响应差异及所报告轨迹。

试验明确提供虚构训练信息；观察结果不证明部署中存在持久隐藏目标。

外部评测: Neo Research / 引用结果: Meta

已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。

propensity · §3.2.1; pp. 34–36

Agentic Misalignment, historical

协议档案 →

受控模拟中的条件性发生率与可观察行动。

试验未对真实人员或系统造成损害，也不估计部署环境中的发生率。

外部评测: Neo Research

Agentic Misalignment, historical

原始评测方结果 · 来源顺序

Familiar scenario recognized, English

0–100%

Kimi K3

Kimi K3 · 100% · 受控模拟中的条件性发生率与可观察行动。 · 见报告特定样本与分母。

100%

显示 1 / 1 个系统

受控模拟中的条件性发生率与可观察行动。

试验未对真实人员或系统造成损害，也不估计部署环境中的发生率。本评估显示报告日期和原始执行方。

评测条件与系统配置

Kimi K3: 见报告特定样本与分母。 · Agentic Misalignment, historical; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

Agentic Misalignment, historical · 原文顺序
系统 / 配置	Familiar scenario recognized, English	Familiar scenario recognized, Chinese	发表 / 核验日期
Kimi K3未注明 Harness	100%	96%	发表2026-09-11

behavior · §3.2.2; pp.37–39; Figures 24–25

Agentic Misalignment, Summer 2026 — English and Chinese Petri reimplementation

报告定义条件中的 Agentic Misalignment, translated。

探索性或报告特定设置，不据此称为可复用基准。

已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。

propensity · §4.1; pp. 40–41

Shutdown resistance

协议档案 →

关闭脚本受干预的条件性频率及行动轨迹。

来源指出结果对提示敏感；该文章不可与之后的同行评审版本混用。

外部评测: Neo Research

Shutdown resistance

原始评测方结果 · 来源顺序

Shutdown bypass, no instruction

0–100%

Kimi K3

Kimi K3 · 87% · 关闭脚本受干预的条件性频率及行动轨迹。 · 见报告特定样本与分母。

87%

显示 1 / 1 个系统

关闭脚本受干预的条件性频率及行动轨迹。

来源指出结果对提示敏感；该文章不可与之后的同行评审版本混用。本评估显示报告日期和原始执行方。

评测条件与系统配置

Kimi K3: 见报告特定样本与分母。 · Shutdown resistance; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

Shutdown resistance · 原文顺序
系统 / 配置	Shutdown bypass, no instruction	Shutdown bypass, explicit allow instruction	发表 / 核验日期
Kimi K3未注明 Harness	87%	1%	发表2026-09-11

behavior · §4.2; pp. 40–43

RunPod service continuity

报告定义条件中的 RunPod service continuity。

探索性或报告特定设置，不据此称为可复用基准。

已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。

behavior · §4.3; pp. 43–44

Petri

协议档案 →

审计者探索以种子设定启动的多轮交互，并按量表判读目标轨迹。

较低平均审计分数不排除罕见严重案例；结果依赖种子、审计者、判别器和目标配置。

已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。

capability · §5.1; p. 45

Situational Awareness Dataset

协议档案 →

模型识别自身、所处环境及可影响范围的任务准确率。

情境意识可能是评测规避的前提，不证明规避行为已经发生。

已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。

capability · §5.2; p. 46

GDM Stealth evaluations

协议档案 →

有关监督机制与部署情境的推理。

前置能力不同于实施隐蔽谋划的倾向。

外部评测: Neo Research / 引用结果: Meta

已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。

behavior · §5.3.1; p. 48

Hint-influence monitorability

报告定义条件中的 Hint-influence monitorability。

探索性或报告特定设置，不据此称为可复用基准。

已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。

behavior · §5.3.2; p. 48

CoT controllability

报告定义条件中的 CoT controllability。

探索性或报告特定设置，不据此称为可复用基准。

已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。

capability · §5.3.3; p. 49

SHADE-Arena

协议档案 →

在确定工具权限下测量隐蔽副任务完成及监测发现情况。

被指派的恶意副任务测量执行能力，不证明自发破坏倾向。

已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。

behavior · §6.1; p. 51

AgentHarm

协议档案 →

指定攻击下的有害任务完成和拒答表现。

合成工具与任务完成情况不直接衡量现实损害。

已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。

behavior · §6.2; pp. 52–53

Harmful fine-tuning

报告定义条件中的 Harmful fine-tuning。

探索性或报告特定设置，不据此称为可复用基准。

已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。

behavior · §6.3; pp. 54–57

FORTRESS

协议档案 →

在国家安全与公共安全任务上评测防护，区分高危请求与正常用途的有用性。

评判器可靠性、任务定义和过度拒答影响所报告分数的含义。

已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。

propensity · §7.1; p. 58

APE

协议档案 →

特定对话条件下说服尝试的发生率。

模拟尝试不等于已测量的人类信念变化或大规模虚假信息传播。

外部评测: Neo Research

已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。

behavior · §7.2; pp. 59–60

PersuSafety with adapted judge

协议档案 →

定义说服情境、模拟对话与安全评测；改造判别器作为独立变体。

参与意愿或模拟对话评分不直接测量人的信念变化。

外部评测: Neo Research

已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。

behavior · §7.3; p. 61

PsychosisBench

报告定义条件中的 PsychosisBench。

探索性或报告特定设置，不据此称为可复用基准。

已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。

propensity · §7.4; pp. 62–63

DeceptionBench

协议档案 →

评测五个社会领域的 150 个编写情境，区分中性、激励与压力条件。

编写情境和模型判别限制外推；诱发的欺骗不证明隐蔽长程谋划。

外部评测: Neo Research

已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。

propensity · §7.5; pp. 64–65

MASK

协议档案 →

明确压力条件下说谎的有界发生率。

受控基准不证明稳定意图或现实环境中的欺骗发生率。

外部评测: Neo Research

已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。

报告覆盖核查

章节	原文位置	处理方式
CharXiv with images withheld	§1.1.1; pp. 7–9	协议变体在本节保留协议与结果出处。
LAB-Bench with figures/tables withheld	§1.1.2; pp. 8–10	协议变体在本节保留协议与结果出处。
AbstentionBench	§1.2; p. 11	关联协议在本节保留协议与结果出处。
Pre-seeded alignment audits	§1.3; pp. 12–18	报告特定实验在本节保留协议与结果出处。
Cybench	§2.1.1; p. 19	关联协议在本节保留协议与结果出处。
EVMbench	§2.1.2; p. 19	关联协议在本节保留协议与结果出处。
CyberGym infrastructure probing	§2.1.3–2.1.4; pp. 20–23	协议变体在本节保留协议与结果出处。
TheAgentCompany boundary behavior	§2.2; pp. 24–25	协议变体在本节保留协议与结果出处。
ImpossibleBench	§2.3; p. 26	关联协议在本节保留协议与结果出处。
Apollo-scenario recognition	§2.4.1; p. 28	报告特定实验在本节保留协议与结果出处。
EvalAwareBench	§2.4.2; pp. 28–30	关联协议在本节保留协议与结果出处。
Alignment faking	§3.1; p. 32	关联协议在本节保留协议与结果出处。
Agentic Misalignment, historical	§3.2.1; pp. 34–36	协议变体在本节保留协议与结果出处。
Agentic Misalignment, translated	§3.2.2; pp. 37–39	协议变体在本节保留协议与结果出处。
Shutdown resistance	§4.1; pp. 40–41	协议变体在本节保留协议与结果出处。
RunPod service continuity	§4.2; pp. 40–43	报告特定实验在本节保留协议与结果出处。
Petri	§4.3; pp. 43–44	协议变体在本节保留协议与结果出处。
Situational Awareness Dataset	§5.1; p. 45	关联协议在本节保留协议与结果出处。
GDM Stealth evaluations	§5.2; p. 46	关联协议在本节保留协议与结果出处。
Hint-influence monitorability	§5.3.1; p. 48	报告特定实验在本节保留协议与结果出处。
CoT controllability	§5.3.2; p. 48	报告特定实验在本节保留协议与结果出处。
SHADE-Arena	§5.3.3; p. 49	关联协议在本节保留协议与结果出处。
AgentHarm	§6.1; p. 51	关联协议在本节保留协议与结果出处。
Harmful fine-tuning	§6.2; pp. 52–53	报告特定实验在本节保留协议与结果出处。
FORTRESS	§6.3; pp. 54–57	关联协议在本节保留协议与结果出处。
APE	§7.1; p. 58	关联协议在本节保留协议与结果出处。
PersuSafety with adapted judge	§7.2; pp. 59–60	协议变体在本节保留协议与结果出处。
PsychosisBench	§7.3; p. 61	原始协议来源待核实在本节保留协议与结果出处。
DeceptionBench	§7.4; pp. 62–63	关联协议在本节保留协议与结果出处。
MASK	§7.5; pp. 64–65	关联协议在本节保留协议与结果出处。

参考文献

数值结果由所引研究的作者报告。

[1] Evaluating Kimi K3 for Misalignment Risks. 2026-09-11. September 2026 ; §1.1.1; Figure 1; §1.1.2; Figure 2; §3.2.2; blog §3