白泽(Whitzard)女娲实验室 ↗
NUWANUWA INDEX

搜索 NUWA Index

研究 · 测量协议 · 评测结果 · 观点

English
← NUWA Index

评测档案

In-context scheming

激励隐蔽谋划的环境中的秘密目标追求。

来源与出处 ↓ 阅读研究记录 →

任务与测量

Benchmark 协议档案

任务/对象
上下文中被赋予冲突目标的模型
测量目标
给定目标和评测特定激励下的行为。
解释边界
给定目标与实验激励限制了行为倾向结论。
测量档案 · NUWA 解读

档案区分来源方法阅读与既有目录信息;已经公开不代表完成独立证据复核或双语编辑复核。

测量构念
模型能否隐蔽追求上下文给定且与人类冲突的目标?
任务与样本
六项智能体评测强调指定目标,并让模型从文件中发现监督及开发者目标冲突。
判分与失效情形
按各评测行为计成功;延续欺骗以先前谋划为条件。
系统条件
上下文给定并强调目标,提供命令行与监督信息。
统计含义
来源报告的结果表述;这不等同于已确定运行次数、分母或估计方法: 五个受测模型系列至少在一种设置中表现出上下文谋划,GPT-4o 未出现。 只有 o1 在全部六项评测中均出现(§3)。
效度与解释
作者仅对上下文谋划作结论,未证明模型在真实训练中进行战略操纵。
适用研究问题
模型建议:审计复用时保留目标强调方式与信息可见条件。
  • Frontier Models are Capable of In-context Scheming · §2.1 Evaluation designSelected original resource https://arxiv.org/html/2412.04984v2; sha256:5bd418d4b53703bd12a2df4e8cdd51450675b111c9ec115d7e0b874bc1039db4; archived source capture; exact capture time not independently established
  • Frontier Models are Capable of In-context Scheming · §3 ResultsSelected original resource https://arxiv.org/html/2412.04984v2; sha256:5bd418d4b53703bd12a2df4e8cdd51450675b111c9ec115d7e0b874bc1039db4; archived source capture; exact capture time not independently established
  • Frontier Models are Capable of In-context Scheming · §4 LimitationsSelected original resource https://arxiv.org/html/2412.04984v2; sha256:5bd418d4b53703bd12a2df4e8cdd51450675b111c9ec115d7e0b874bc1039db4; archived source capture; exact capture time not independently established
  • Frontier Models are Capable of In-context Scheming · §5 ConclusionSelected original resource https://arxiv.org/html/2412.04984v2; sha256:5bd418d4b53703bd12a2df4e8cdd51450675b111c9ec115d7e0b874bc1039db4; archived source capture; exact capture time not independently established
原始来源图表与材料
In-context scheming — Figure 8
Figure 8 · 原文 Figure 8。请结合下方的协议范围与局限阅读。 查看原图 ↗

相关研究问题

参考文献

  1. [1] Alexander Meinke, Bronson Schoen 等. Frontier Models are Capable of In-context Scheming. 2025-01-14. v2 [arXiv]; Author affiliations on the original paper title page; Figure 8