证据记录
Kimi K2.5
Situational Awareness Dataset (SAD) · 证据记录
原始来源图表与材料
记录指标
- Facts-LLMs
- 95.2%95% CI (bootstrap); reported ±2.6; 1000 resamples
来源分母:249(单位未披露)
Harness 未注明 · 预算未注明
方法与范围
模型识别自身、所处环境及可影响范围的任务准确率。
- 证据类型
- 可复用基准
- 评测对象
- 回答情境意识任务的语言模型
- 主观测维度
- Capability · 任务能力
- 证据快照
- 2026-10-29.1
主测量构念为能力;属于前提证据,而非直接欺骗证据。
来源结论
Facts-LLMs:95.2 percent;保留来源条件。
适用限制
情境意识可能是评测规避的前提,不证明规避行为已经发生。
来源转录不等于实验复现。未确定的日期、执行方及配置保留为未知;原文分组不作为经核验排名。 本条限制说明(英文,完整保留):Source describes plain and situating-prompt settings but this table does not identify its setting. Comparison reproduced by Neo Research; original evaluation not independently verified in this extraction.
保留原图,不估算数值;本轮未完成原文全部表格转录。
相关研究问题
欺骗 / 评测规避 →
该基准测量识别能力,不测试有意低表现。
参考文献
- [1] Rudolf Laine, Bilal Chughtai 等. Me, Myself, and AI: The Situational Awareness Dataset for LLMs. 2024-07-15 article; paper linked
- [2] Rudolf Laine, Bilal Chughtai 等. Me, Myself, and AI: The Situational Awareness Dataset (SAD) for LLMs ; Author affiliations on the original paper title page; Figure 5
- [3] Evaluating DeepSeek v4 Pro for Frontier Risks. 2026-05-29. v1.1 · 29 May 2026 ; PDF p. 22; SAD-mini; Facts-LLMs