白泽(Whitzard)女娲实验室 ↗
NUWANUWA INDEX

搜索 NUWA Index

研究 · 测量协议 · 评测结果 · 观点

English

RESEARCH RECORD

Resolution Diagnostics for Paired LLM Evaluation

Anany Kotawala · Princeton University

原始文献 ↗ · BibTeX · RIS

在指定错误率与功效目标下,一些展示的差距仍无法分辨;缺少配对方差和依赖假设时,单看样本量不够。

研究问题

现有评测样本能否分辨所报告的模型成绩差距?

设计与前提

分析把配对检验转换为所需样本量,并用真实题目级排行榜数据检查聚类与多重比较。

研究发现

在指定错误率与功效目标下,一些展示的差距仍无法分辨;缺少配对方差和依赖假设时,单看样本量不够。

局限与反证

实证重点是二元准确率和接近的比较;它不意味着所有排名无意义,差异不显著也不能证明等价。

来源证据

当前阅读包尚无结构化数值提取。

阅读范围与复核

Selected original HTML sections and table context; not a complete paper/appendix audit or independent reproduction.

模型辅助整理,独立证据复核待完成。

核对原始来源 ↗