NUWA 证据记录
o1-preview
JudgeBench: A Benchmark for Evaluating LLM-based Judges · 证据记录
原始来源图表与材料
原文报告结果
原文顺序 · 原文配置
筛选系统
总体准确率
0–100%
o1-previewo1-preview · 75.43% · 表 2 中 Arena-Hard 判别器采用不同底层模型时的准确率。该指标衡量评判能力，而不是被评模型的风险率。 · 见原文协议；不推断独立试验数量。
75.43%显示 1 / 1 个系统
数值描述原文协议下的测量结果，不是综合安全评分。
表 2 中 Arena-Hard 判别器采用不同底层模型时的准确率。该指标衡量评判能力，而不是被评模型的风险率。 未单独注明评测日期；下表保留发表或记录日期。
评测条件与系统配置
- o1-preview
- 见原文协议；不推断独立试验数量。 · Table 2 · JudgeBench: A Benchmark for Evaluating LLM-based Judges
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
| 系统 / 配置 | 总体准确率 | 知识 | 推理 | 数学 | 编程 | 发表 / 核验日期 |
|---|---|---|---|---|---|---|
| o1-preview未注明 Harness | 75.43% | 66.23% | 79.59% | 85.71% | 85.71% | 来源核验2026-10-25 |
方法与范围
通过困难回答比较，评测模型评判器并考察自动评测可靠性。
- 证据类型
- 可复用基准
- 评测对象
- 原评测配置下的模型或智能体系统
- 主观测维度
- Capability · 任务能力
- 证据快照
- 2026-10-29.1
按原协议的操作化结果分类，主题关联与问题级矩阵判断分别记录。
来源结论
原文 Table 2 报告的 o1-preview 测量结果；数值为转录，未独立复现实验。
适用限制
评判器表现属于方法背景，不能直接测量前沿风险能力。
保留原文的配置、任务和聚合方式差异，并按原文顺序展示。转录不等于独立复现，不支持跨协议排名。
相关研究问题
参考文献
数值结果由所引研究的作者报告。
- [1] Sijun Tan, Siyuan Zhuang 等. JudgeBench: A Benchmark for Evaluating LLM-based Judges. 2024-10-16. v2 [arXiv]; Author affiliations on the original paper title page; Table 2