评测档案
In-context scheming
激励隐蔽谋划的环境中的秘密目标追求。
任务与测量
Benchmark 协议档案
- 任务/对象
- 上下文中被赋予冲突目标的模型
- 测量目标
- 给定目标和评测特定激励下的行为。
- 解释边界
- 给定目标与实验激励限制了行为倾向结论。
测量档案 · NUWA 解读
档案区分来源方法阅读与既有目录信息;已经公开不代表完成独立证据复核或双语编辑复核。
- 测量构念
- 模型能否隐蔽追求上下文给定且与人类冲突的目标?
- 任务与样本
- 六项智能体评测强调指定目标,并让模型从文件中发现监督及开发者目标冲突。
- 判分与失效情形
- 按各评测行为计成功;延续欺骗以先前谋划为条件。
- 系统条件
- 上下文给定并强调目标,提供命令行与监督信息。
- 统计含义
- 来源报告的结果表述;这不等同于已确定运行次数、分母或估计方法: 五个受测模型系列至少在一种设置中表现出上下文谋划,GPT-4o 未出现。 只有 o1 在全部六项评测中均出现(§3)。
- 效度与解释
- 作者仅对上下文谋划作结论,未证明模型在真实训练中进行战略操纵。
- 适用研究问题
- 模型建议:审计复用时保留目标强调方式与信息可见条件。
- Frontier Models are Capable of In-context Scheming · §2.1 Evaluation designSelected original resource https://arxiv.org/html/2412.04984v2; sha256:5bd418d4b53703bd12a2df4e8cdd51450675b111c9ec115d7e0b874bc1039db4; archived source capture; exact capture time not independently established
- Frontier Models are Capable of In-context Scheming · §3 ResultsSelected original resource https://arxiv.org/html/2412.04984v2; sha256:5bd418d4b53703bd12a2df4e8cdd51450675b111c9ec115d7e0b874bc1039db4; archived source capture; exact capture time not independently established
- Frontier Models are Capable of In-context Scheming · §4 LimitationsSelected original resource https://arxiv.org/html/2412.04984v2; sha256:5bd418d4b53703bd12a2df4e8cdd51450675b111c9ec115d7e0b874bc1039db4; archived source capture; exact capture time not independently established
- Frontier Models are Capable of In-context Scheming · §5 ConclusionSelected original resource https://arxiv.org/html/2412.04984v2; sha256:5bd418d4b53703bd12a2df4e8cdd51450675b111c9ec115d7e0b874bc1039db4; archived source capture; exact capture time not independently established
原始来源图表与材料

相关研究问题
欺骗 / 隐蔽目标追求 →
来源在其协议下直接测量所述构念。
欺骗 / 隐蔽目标追求 →
来源在其协议下直接测量所述构念。
参考文献
- [1] Alexander Meinke, Bronson Schoen 等. Frontier Models are Capable of In-context Scheming. 2025-01-14. v2 [arXiv]; Author affiliations on the original paper title page; Figure 8