白泽(Whitzard)女娲实验室 ↗
NUWANUWA INDEX

搜索 NUWA Index

研究 · 测量协议 · 评测结果 · 观点

English

OPINION

AI Evaluation Should Require Standardized Item-Level Data Releases

Han Jiang · Susu Zhang · Dongyao Zhu · Yuzhuo Bai · Sang T. Truong · Xiaoyuan Yi · Sanmi Koyejo · Xing Xie · Ziang Xiao · Johns Hopkins University; UIUC; Stanford University; Microsoft Research Asia and collaborators

原始文献 ↗ · BibTeX · RIS

汇总成绩可能掩盖低质量题目与测量目标错位;作者主张以可审计结构记录题目、条件、响应和评分。

研究问题

评测发布需要提供哪些信息,才能让效度主张接受独立检查?

设计与前提

观点论文提出标准化题目级发布,并通过 OpenEval 仓库展示题目诊断与测量概念分析。

观点与依据

汇总成绩可能掩盖低质量题目与测量目标错位;作者主张以可审计结构记录题目、条件、响应和评分。

局限与反证

这是附带案例的方法观点,不是开放数据能够消除污染的证明;原文明确允许受控访问、延迟发布和许可限制。

来源证据

当前阅读包尚无结构化数值提取。

阅读范围与复核

Selected original HTML sections and table context; not a complete paper/appendix audit or independent reproduction.

模型辅助整理,独立证据复核待完成。

核对原始来源 ↗