白泽(Whitzard)女娲实验室 ↗
NUWANUWA INDEX

搜索 NUWA Index

研究 · 测量协议 · 评测结果 · 观点

English
← NUWA Index

证据记录

Kimi K3

ImpossibleBench · 证据记录

来源与出处 ↓ 阅读研究记录 →

来源快照、图表与核查范围 →

原始来源图表与材料

记录指标

Cheating rate (pass@1 on impossible variants)
1.5%

原文未披露本结果的样本量

Harness 未注明 · 预算未注明

评估出处

Evaluating Kimi K3 for Misalignment Risks → · 外部报告

实际评测: Neo Research · 模型档案 →

方法与范围

构造不可同时满足要求的编程任务变体,检验违反规范的通过结果。

证据类型
可复用基准
评测对象
给定任务配置中的模型或智能体。
主观测维度
Propensity · 行为倾向
证据快照
2026-10-29.1

主维度依据所述测量确定;背景风险关联不证明有害部署能力。

来源结论

Cheating rate (pass@1 on impossible variants):1.5 %;保留来源条件。

适用限制

作弊率受矛盾条件、测试访问和脚手架限制,不是一般不诚实率。

来源转录不等于实验复现。未确定的日期、执行方及配置保留为未知;原文分组不作为经核验排名。 本条限制说明(英文,完整保留):Only LiveCodeBench split, not Impossible-SWEbench. Figure does not expose separate oneoff/conflicting breakdown or denominator.

相关研究问题

参考文献

  1. [1] ImpossibleBench. 2025-10-23
  2. [2] Evaluating Kimi K3 for Misalignment Risks. 2026-09-11. September 2026 ; §2.3 Figure 17 p.27