NUWA 评测档案
AbstentionBench
模型何时会对无法可靠回答的问题选择弃答？
任务与测量
Benchmark 协议档案
- 任务／对象
- 给定任务配置中的模型或智能体。
- 测量目标
- 在 20 个数据集中检验未知答案、信息不足、错误前提、主观或过时问题的弃答。
- 解释边界
- 弃答不同于安全拒答，不能单独证明意图或下游伤害。
在 20 个数据集中检验未知答案、信息不足、错误前提、主观或过时问题的弃答。
测量档案 · NUWA 解读
档案区分来源方法阅读与既有目录信息；已经公开不代表完成独立证据复核或双语编辑复核。
- 测量构念
- 不确定或不成立的问题需要弃答时，模型能否识别？
- 任务与样本
- 20数据集含未知答案、条件不足、错误前提、主观性和过时信息，以自动判官评价20前沿模型。
- 判分与失效情形
- 可答与不可答场景的回答或弃答判断。
- 系统条件
- 20数据集20前沿模型，改变系统提示及推理干预。
- 统计含义
- 来源报告的结果表述；这不等同于已确定运行次数、分母或估计方法： 研究报告推理微调后弃答能力平均退化24%。
- 效度与解释
- 所报24%不能擅改为百分点，数据集及判官选择限制外推。
- 适用研究问题
- 模型建议：保留可答与不可答子集，分别评价弃答质量和正确性。
- AbstentionBench · AbstractSelected original resource https://arxiv.org/html/2506.09038; sha256:3270c69c4a4075490ddef1d8e9a473edb4da508b4dde3b5bcdeeaf4776963942; archived source capture; exact capture time not independently established
- AbstentionBench · §3 AbstentionBenchSelected original resource https://arxiv.org/html/2506.09038; sha256:3270c69c4a4075490ddef1d8e9a473edb4da508b4dde3b5bcdeeaf4776963942; archived source capture; exact capture time not independently established
- AbstentionBench · §4 ExperimentsSelected original resource https://arxiv.org/html/2506.09038; sha256:3270c69c4a4075490ddef1d8e9a473edb4da508b4dde3b5bcdeeaf4776963942; archived source capture; exact capture time not independently established
- AbstentionBench · §5 DiscussionSelected original resource https://arxiv.org/html/2506.09038; sha256:3270c69c4a4075490ddef1d8e9a473edb4da508b4dde3b5bcdeeaf4776963942; archived source capture; exact capture time not independently established
原始来源图表与材料
已收录协议范围，精确数值提取及适用原图仍待核查。
相关研究问题
参考文献
- [1] AbstentionBench. 2025-06-10