白泽(Whitzard)女娲实验室 ↗
NUWANUWA INDEX

搜索 NUWA Index

研究 · 测量协议 · 评测结果 · 观点

English

RESEARCH RECORD

Measurement to Meaning: A Validity-Centered Framework for AI Evaluation

Olawale Salaudeen · Anka Reuel · Ahmed Ahmed · Suhana Bedi · Zachary Robertson · Sudharsan Sundar · Ben Domingue · Angelina Wang · Sanmi Koyejo · Stanford University; Cornell Tech

原始文献 ↗ · BibTeX · RIS

建议从待论证主张出发,在把成绩用于实际决策前检查缺少哪类效度证据。

研究问题

一项评测究竟能支持哪些主张与决策?

设计与前提

作者围绕主张组织效度证据,借助心理测量概念及 GPQA 等案例,区分狭窄任务表现和更广泛能力。

研究发现

建议从待论证主张出发,在把成绩用于实际决策前检查缺少哪类效度证据。

局限与反证

框架依赖判断和持续补证,不提供通用数值化评测质量分,也不因此验证某个部署。

来源证据

当前阅读包尚无结构化数值提取。

阅读范围与复核

Selected original HTML sections and table context; not a complete paper/appendix audit or independent reproduction.

模型辅助整理,独立证据复核待完成。

核对原始来源 ↗