证据记录
GPT-5.6 Terra
ImpossibleBench · 证据记录
原始来源图表与材料
记录指标
- Cheating rate (pass@1 on impossible variants)
- 0%
原文未披露本结果的样本量
Harness 未注明 · 预算未注明
评估出处
Evaluating Kimi K3 for Misalignment Risks → · 外部报告
实际评测: Neo Research · 模型档案 →
方法与范围
构造不可同时满足要求的编程任务变体,检验违反规范的通过结果。
- 证据类型
- 可复用基准
- 评测对象
- 给定任务配置中的模型或智能体。
- 主观测维度
- Propensity · 行为倾向
- 证据快照
- 2026-10-29.1
主维度依据所述测量确定;背景风险关联不证明有害部署能力。
来源结论
Cheating rate (pass@1 on impossible variants):0 %;保留来源条件。
适用限制
作弊率受矛盾条件、测试访问和脚手架限制,不是一般不诚实率。
来源转录不等于实验复现。未确定的日期、执行方及配置保留为未知;原文分组不作为经核验排名。 本条限制说明(英文,完整保留):Only LiveCodeBench split, not Impossible-SWEbench. Figure does not expose separate oneoff/conflicting breakdown or denominator.
相关研究问题
欺骗 / 评测规避 →
该协议明确测量该问题或其使能子能力,结论保留给定条件。
参考文献
- [1] ImpossibleBench. 2025-10-23
- [2] Evaluating Kimi K3 for Misalignment Risks. 2026-09-11. September 2026 ; §2.3 Figure 17 p.27