RESEARCH RECORD

Measuring what Matters: Construct Validity in Large Language Model Benchmarks

Andrew M. Bean · Ryan Othniel Kearns · Angelika Romanou · Franziska Sofia Hafner · Harry Mayne · Jan Batzner · Negar Foroutan · Chris Schmitz · Karolina Korgul · Hunar Batra · Oishi Deb · Emma Beharry · Cornelius Emde · Thomas Foster · Anna Gausen · María Grandury · Simeng Han · Valentin Hofmann · Lujain Ibrahim · Hazel Kim · Hannah Rose Kirk · Fangru Lin · Gabrielle Kaili-May Liu · Lennart Luettgau · Jabez Magomere · Jonathan Rystrøm · Anna Sotnikova · Yushi Yang · Yilun Zhao · Adel Bibi · Antoine Bosselut · Ronald Clark · Arman Cohan · Jakob Foerster · Yarin Gal · Scott A. Hale · Inioluwa Deborah Raji · Christopher Summerfield · Philip H.S. Torr · Cozmin Ududec · Luc Rocher · Adam Mahdi · University of Oxford-led multi-institution research team

原始文献 ↗ · BibTeX · RIS

综述指出概念、实际任务及结论之间反复出现的脱节，并提出设计和解释评测的检查表。

研究问题

评测任务和成绩是否支持作者声称测量的现象？

设计与前提

系统综述以专家编码表检查评测论文中的现象定义、任务抽样、评分和效度论断。

研究发现

综述指出概念、实际任务及结论之间反复出现的脱节，并提出设计和解释评测的检查表。

局限与反证

会议与关键词筛选会遗漏部分文献；填完检查表不等于已证明效度，未报告某步骤也不能直接证明作者未执行。

来源证据

当前阅读包尚无结构化数值提取。

阅读范围与复核

Selected original HTML sections and table context; not a complete paper/appendix audit or independent reproduction.

模型辅助整理，独立证据复核待完成。

核对原始来源 ↗