RESEARCH RECORD

evalci: A Python Library for Statistically Rigorous Comparison of Language Model Evaluations

Shreyas K Chandrahas

工具降低统计比较成本，但其排行榜示例从汇总准确率重建题目响应向量，并非使用原始配对日志。

研究问题

评测表如何保留不确定性与配对比较的统计含义？

该库封装区间估计、配对检验、聚类、多重比较和功效计算，并以参考实现核查计算。

工具降低统计比较成本，但其排行榜示例从汇总准确率重建题目响应向量，并非使用原始配对日志。

重建无法恢复实际题目相关结构，也不能修复上游协议不一致；不能将其示例显著性判断当作 NUWA 独立复算的实测比较。

当前阅读包尚无结构化数值提取。

阅读范围与复核

Selected original HTML sections and table context; not a complete paper/appendix audit or independent reproduction.

模型辅助整理，独立证据复核待完成。