风险评测 · 评测基准

AbstentionBench: Reasoning LLMs Fail on Unanswerable Questions

NUWA 研究解读 · 独立复核待完成

首次发表: 2025-06-10来源核验: 2026-10-25

原始来源 ↗引用本记录 ↓

NUWA Research Note

研究问题研究设计与假设来源发现 NUWA 解读局限与相反证据研究与决策意义机构与角色原始资源

模型辅助整理 · 选读原始全文或官方文章中的相关章节；尚未完成逐章节审计。

研究速读

NUWA 解读：正确率提高和弃答改善是不同训练结果。

研究问题

不确定或不成立的问题需要弃答时，模型能否识别？

研究设计与假设

20数据集含未知答案、条件不足、错误前提、主观性和过时信息，以自动判官评价20前沿模型。

来源发现

研究报告推理微调后弃答能力平均退化24%。

定向系统提示可提高分数，但未解决可靠不确定性处理。

NUWA 解读

NUWA 解读：正确率提高和弃答改善是不同训练结果。

局限与相反证据

所报24%不能擅改为百分点，数据集及判官选择限制外推。

研究与决策意义

模型建议：保留可答与不可答子集，分别评价弃答质量和正确性。

精确来源位置

AbstentionBench · AbstractSelected original resource https://arxiv.org/html/2506.09038; sha256:3270c69c4a4075490ddef1d8e9a473edb4da508b4dde3b5bcdeeaf4776963942; archived source capture; exact capture time not independently established
AbstentionBench · §3 AbstentionBenchSelected original resource https://arxiv.org/html/2506.09038; sha256:3270c69c4a4075490ddef1d8e9a473edb4da508b4dde3b5bcdeeaf4776963942; archived source capture; exact capture time not independently established
AbstentionBench · §4 ExperimentsSelected original resource https://arxiv.org/html/2506.09038; sha256:3270c69c4a4075490ddef1d8e9a473edb4da508b4dde3b5bcdeeaf4776963942; archived source capture; exact capture time not independently established
AbstentionBench · §5 DiscussionSelected original resource https://arxiv.org/html/2506.09038; sha256:3270c69c4a4075490ddef1d8e9a473edb4da508b4dde3b5bcdeeaf4776963942; archived source capture; exact capture time not independently established

来源核查、数据提取、编辑批准与实验复现分别记录。方法说明 →

机构与角色

原文未注明机构

评测协议

AbstentionBench →

引用与复用

引用研究发现时请引用原始出版物；引用 NUWA 的整理与解释时，单独引用本站记录及对应快照。

BibTeX ↓RIS ↓记录与来源元数据 · JSON ↓阅读覆盖 · JSON 提交更正

原始出版物 · BibTeX

@misc{abstentionbench,
  title = {AbstentionBench: Reasoning LLMs Fail on Unanswerable Questions},
  url = {https://arxiv.org/abs/2506.09038},
  year = {2025},
  date = {2025-06-10},
  version = {2026-10-25 source capture},
  note = {2026-10-25 source capture}
}

NUWA 记录 · BibTeX

@misc{abstentionbench-nuwa,
  title = {AbstentionBench: Reasoning LLMs Fail on Unanswerable Questions — NUWA research record},
  url = {https://whitzard.tech/nuwa/whitzard-index/work/abstentionbench/},
  version = {2026-10-29.1},
  organization = {NUWA Frontier AI Safety Lab},
  howpublished = {Retained note edition: https://whitzard.tech/nuwa/whitzard-index/data/record-editions/2026-10-29.1--abstentionbench.json},
  note = {NUWA research note. Source-reading scope and independent review status are stated on the record. Snapshot 2026-10-29.1. Retained note edition: https://whitzard.tech/nuwa/whitzard-index/data/record-editions/2026-10-29.1--abstentionbench.json.}
}

证据快照 2026-10-29.1 · 索引更新 · RSS

参考文献

[1] AbstentionBench. 2025-06-10 ; Abstract; §3 AbstentionBench; §4 Experiments