ImpossibleBench

档案区分来源方法阅读与既有目录信息；已经公开不代表完成独立证据复核或双语编辑复核。

测量构念

测试故意不可能时，智能体会违背规格来通过吗？

任务与样本

将LiveCodeBench与SWE-bench改为测试和自然语言规格冲突，借通过率测作弊代理。

判分与失效情形

刻意与规格冲突的不可能测试通过率作为作弊代理。

系统条件

变异LiveCodeBench和SWE-bench，改变提示测试访问与反馈。

统计含义

来源报告的结果表述；这不等同于已确定运行次数、分母或估计方法： 监测在Impossible-LiveCodeBench检出86–89%，在Impossible-SWEbench明显更低。

效度与解释

只有变异确实不可解，通过才证明违规；该比例不估计普通编程作弊率。

适用研究问题

模型建议：验证不可能性，并保留测试访问、提示和反馈条件。

• ImpossibleBench · AbstractSelected original resource https://arxiv.org/html/2510.20270; sha256:c2850cd2eaf221a7a22b315b1fb5ef2a797c92f0ff757adbf2ece0d08168dad3; archived source capture; exact capture time not independently established
• ImpossibleBench · §2 Benchmark CurationSelected original resource https://arxiv.org/html/2510.20270; sha256:c2850cd2eaf221a7a22b315b1fb5ef2a797c92f0ff757adbf2ece0d08168dad3; archived source capture; exact capture time not independently established
• ImpossibleBench · §5 Results: Context EngineeringSelected original resource https://arxiv.org/html/2510.20270; sha256:c2850cd2eaf221a7a22b315b1fb5ef2a797c92f0ff757adbf2ece0d08168dad3; archived source capture; exact capture time not independently established
• ImpossibleBench · §6 Results: MonitoringSelected original resource https://arxiv.org/html/2510.20270; sha256:c2850cd2eaf221a7a22b315b1fb5ef2a797c92f0ff757adbf2ece0d08168dad3; archived source capture; exact capture time not independently established