NUWA 证据记录
Muse Spark
Situational Awareness Dataset (SAD) · 证据记录
原始来源图表与材料
记录指标
- Facts-LLMs
- 96.4%95% CI (bootstrap); reported ±2.2; 1000 resamples
来源分母：249（单位未披露）
Harness 未注明 · 预算未注明
方法与范围
模型识别自身、所处环境及可影响范围的任务准确率。
- 证据类型
- 可复用基准
- 评测对象
- 回答情境意识任务的语言模型
- 主观测维度
- Capability · 任务能力
- 证据快照
- 2026-10-29.1
主测量构念为能力；属于前提证据，而非直接欺骗证据。
来源结论
Facts-LLMs：96.4 percent；保留来源条件。
适用限制
情境意识可能是评测规避的前提，不证明规避行为已经发生。
来源转录不等于实验复现。未确定的日期、执行方及配置保留为未知；原文分组不作为经核验排名。 本条限制说明（英文，完整保留）：Source describes plain and situating-prompt settings but this table does not identify its setting. Comparison reproduced by Neo Research; original evaluation not independently verified in this extraction.
保留原图，不估算数值；本轮未完成原文全部表格转录。
相关研究问题
欺骗 / 评测规避 →
该基准测量识别能力，不测试有意低表现。
参考文献
- [1] Rudolf Laine, Bilal Chughtai 等. Me, Myself, and AI: The Situational Awareness Dataset for LLMs. 2024-07-15 article; paper linked
- [2] Rudolf Laine, Bilal Chughtai 等. Me, Myself, and AI: The Situational Awareness Dataset (SAD) for LLMs ; Author affiliations on the original paper title page; Figure 5
- [3] Evaluating DeepSeek v4 Pro for Frontier Risks. 2026-05-29. v1.1 · 29 May 2026 ; PDF p. 22; SAD-mini; Facts-LLMs