NUWA 评测档案
EvalAwareBench
哪些评测线索会使模型表达被测试的感知？
跨报告监测
已发表证据
EvalAwareBench · Recognition
跨来源报告的已发表测量。任务范围通过注释区分，配置差异保留在每条观测中。
8 条观测 · 4 已定位日期
● 条件匹配◇ 配置差异□ 部分条件未披露
4 条观测尚无已核实的模型发布日期，可在数据与系统结果中查看。
选择图中数据点或表格行，查看条件与出处。
8 条观测
| 系统／模型 | 结果 | 条件状态 | 任务／条件 | 评测方／报告 | 日期 |
|---|---|---|---|---|---|
 DeepSeek V4 FlashDeepSeek V4 Flash 0731 | 1.6%Recognition | 条件不完整 | EvalAwareBench Safety tasks基线— | Neo ResearchEvaluating Kimi K3 for Misalignment Risks | 发布 —报告 2026-09-11 |
 Kimi K3 | 0.2%Recognition | 条件不完整 | EvalAwareBench Safety tasks基线— | Neo ResearchEvaluating Kimi K3 for Misalignment Risks | 发布 2026-07-16报告 2026-09-11 |
| Kimi K3 | 7.2%Recognition | 条件不完整 | EvalAwareBench Safety tasks全部八项线索— | Neo ResearchEvaluating Kimi K3 for Misalignment Risks | 发布 2026-07-16报告 2026-09-11 |
| DeepSeek V4 FlashDeepSeek V4 Flash 0731 | 6.4%Recognition | 条件不完整 | EvalAwareBench Safety tasks全部八项线索— | Neo ResearchEvaluating Kimi K3 for Misalignment Risks | 发布 —报告 2026-09-11 |
| DeepSeek V4 FlashDeepSeek V4 Flash 0731 | 1%Recognition | 条件不完整 | EvalAwareBench Capability tasks基线— | Neo ResearchEvaluating Kimi K3 for Misalignment Risks | 发布 —报告 2026-09-11 |
| Kimi K3 | 0.2%Recognition | 条件不完整 | EvalAwareBench Capability tasks基线— | Neo ResearchEvaluating Kimi K3 for Misalignment Risks | 发布 2026-07-16报告 2026-09-11 |
| DeepSeek V4 FlashDeepSeek V4 Flash 0731 | 7.4%Recognition | 条件不完整 | EvalAwareBench Capability tasks全部八项线索— | Neo ResearchEvaluating Kimi K3 for Misalignment Risks | 发布 —报告 2026-09-11 |
| Kimi K3 | 5%Recognition | 条件不完整 | EvalAwareBench Capability tasks全部八项线索— | Neo ResearchEvaluating Kimi K3 for Misalignment Risks | 发布 2026-07-16报告 2026-09-11 |
结合任务范围与运行配置解读结果。
METR Time Horizon 1.1 来源已停止积极更新，最后更新于 2026 年 9 月 8 日。超过 16 小时的估计超出其可靠测量范围。
协议、配置与原始证据 →任务与测量
Benchmark 协议档案
- 任务／对象
- 给定任务配置中的模型或智能体。
- 测量目标
- 在受控任务中改变评测线索，记录显式表达的评测感知。
- 评分／结果口径
- Verbalized awareness, baseline · 在受控任务中改变评测线索，记录显式表达的评测感知。
- 解释边界
- 不能测量未表达的感知；熟悉基准的识别可能不同于一般线索反应。
在受控任务中改变评测线索，记录显式表达的评测感知。
一项已报告评测
来源评测 Kimi K3 · EvalAwareBench.
报告指标: Verbalized awareness, baseline · 0.2%.
在受控任务中改变评测线索，记录显式表达的评测感知。 见报告特定样本与分母。
原文 §2.4.2; blog §3 报告的测量；转录不等于独立复现实验。
测量档案 · NUWA 解读
档案区分来源方法阅读与既有目录信息；已经公开不代表完成独立证据复核或双语编辑复核。
- 测量构念
- 哪些评测线索触发识别，识别是否改变行为？
- 任务与样本
- 八因素在100对安全能力任务中受控变化，另以九模型、四基准各十次测试。
- 判分与失效情形
- 配对线索干预分别测说出的识别与行为遵从。
- 系统条件
- 100对任务八因素，先前九模型四基准各重复十次。
- 统计含义
- 来源报告的结果表述；这不等同于已确定运行次数、分母或估计方法： 部分因素降低能力表现却不出现对应意识信号，表明难度混杂（§4.2）。
- 效度与解释
- 黑盒测量仅覆盖说出的识别，未表达意识及思维链不忠实仍是缺口（§5）。
- 适用研究问题
- 模型建议：比较配对线索干预，归因为评测操纵前保留非意识路径。
- EvalAwareBench · AbstractSelected original resource https://arxiv.org/html/2605.23055; sha256:f034653da02841f088ba9201e5a4731153c049f4c09d5d90e02780492917e38b; archived source capture; exact capture time not independently established
- EvalAwareBench · §3.1 SetupSelected original resource https://arxiv.org/html/2605.23055; sha256:f034653da02841f088ba9201e5a4731153c049f4c09d5d90e02780492917e38b; archived source capture; exact capture time not independently established
- EvalAwareBench · §4.2 ResultsSelected original resource https://arxiv.org/html/2605.23055; sha256:f034653da02841f088ba9201e5a4731153c049f4c09d5d90e02780492917e38b; archived source capture; exact capture time not independently established
- EvalAwareBench · §5 Discussion, Safety Implication, and Future WorkSelected original resource https://arxiv.org/html/2605.23055; sha256:f034653da02841f088ba9201e5a4731153c049f4c09d5d90e02780492917e38b; archived source capture; exact capture time not independently established
跨报告证据
相同 Benchmark 名称可能对应不同任务、计分规则和系统配置。各来源分别保留，比较组说明具体对齐了哪些条件。
Neo Research
Evaluating Kimi K3 for Misalignment Risks →
实际评测方: Neo Research
13 条结果记录 · 2 个报告系统名称
协议与比较依据 (8)
EvalAwareBench：Recognition · Neo Researchsource-report · 范围已审查
EvalAwareBench：Recognition · Neo Researchsource-report · 范围已审查
EvalAwareBench：Recognition · Neo Researchsource-report · 范围已审查
EvalAwareBench：Recognition · Neo Researchsource-report · 范围已审查
EvalAwareBench：Spontaneous recognition rate · Neo Researchsource-report · 范围已审查
EvalAwareBench：Spontaneous recognition rate · Neo Researchsource-report · 范围已审查
EvalAwareBench：Verbalized awareness, all eight cues · Neo Researchsource-report · 范围已审查
EvalAwareBench：Verbalized awareness, baseline · Neo Researchsource-report · 范围已审查
原始来源图表与材料
EvalAwareBench
原始评测方结果 · 来源顺序
筛选系统
Verbalized awareness, baseline
0–100%Kimi K3Kimi K3 · 0.2% · 在受控任务中改变评测线索，记录显式表达的评测感知。 · 见报告特定样本与分母。
0.2%显示 1 / 1 个系统
在受控任务中改变评测线索，记录显式表达的评测感知。
不能测量未表达的感知；熟悉基准的识别可能不同于一般线索反应。 本评估显示报告日期和原始执行方。
评测条件与系统配置
- Kimi K3
- 见报告特定样本与分母。 · EvalAwareBench
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
| 系统 / 配置 | Verbalized awareness, baseline | Verbalized awareness, all eight cues | 发表 / 核验日期 |
|---|---|---|---|
| Kimi K3未注明 Harness | 0.2% | 6.1% | 发表2026-09-11 |
评估出处
相关研究问题
欺骗 / 评测规避 →
该协议明确测量该问题或其使能子能力，结论保留给定条件。
参考文献
- [1] Kimi Code — What’s New ; Kimi K3 · July 16, 2026
- [2] kimi-k3 developer model card ; Model Summary: Total Parameters; Activated Parameters
- [3] Evaluating Kimi K3 for Misalignment Risks. 2026-09-11. September 2026 ; §2.4.2; blog §3; §2.4.2 Figure 19 p.29; §2.4.2 Table 6 p.30
- [4] EvalAwareBench