NUWA 评测档案
JudgeBench: A Benchmark for Evaluating LLM-based Judges
通过困难回答比较，评测模型评判器并考察自动评测可靠性。
跨报告监测
已发表证据
JudgeBench: A Benchmark for Evaluating LLM-based Judges · 总体准确率
跨来源报告的已发表测量。任务范围通过注释区分，配置差异保留在每条观测中。
15 条观测 · 0 已定位日期
● 条件匹配◇ 配置差异□ 部分条件未披露
15 条观测尚无已核实的模型发布日期，可在数据与系统结果中查看。
选择图中数据点或表格行，查看条件与出处。
15 条观测
| 系统／模型 | 结果 | 条件状态 | 任务／条件 | 评测方／报告 | 日期 |
|---|---|---|---|---|---|
 o3-mini (high) | 80.86%总体准确率 | 条件不完整 | Table 2 · JudgeBench: A Benchmark for Evaluating LLM-based Judges— | 未披露JudgeBench: A Benchmark for Evaluating LLM-Based Judges | 发布 —报告 — |
| o3-mini (medium) | 76.57%总体准确率 | 条件不完整 | Table 2 · JudgeBench: A Benchmark for Evaluating LLM-based Judges— | 未披露JudgeBench: A Benchmark for Evaluating LLM-Based Judges | 发布 —报告 — |
| o1-preview | 75.43%总体准确率 | 条件不完整 | Table 2 · JudgeBench: A Benchmark for Evaluating LLM-based Judges— | 未披露JudgeBench: A Benchmark for Evaluating LLM-Based Judges | 发布 —报告 — |
 Deepseek-R1 | 73.14%总体准确率 | 条件不完整 | Table 2 · JudgeBench: A Benchmark for Evaluating LLM-based Judges— | 未披露JudgeBench: A Benchmark for Evaluating LLM-Based Judges | 发布 —报告 — |
| o3-mini (low) | 70.57%总体准确率 | 条件不完整 | Table 2 · JudgeBench: A Benchmark for Evaluating LLM-based Judges— | 未披露JudgeBench: A Benchmark for Evaluating LLM-Based Judges | 发布 —报告 — |
| o1-mini | 65.71%总体准确率 | 条件不完整 | Table 2 · JudgeBench: A Benchmark for Evaluating LLM-based Judges— | 未披露JudgeBench: A Benchmark for Evaluating LLM-Based Judges | 发布 —报告 — |
 Claude-3.5-Sonnet | 64.29%总体准确率 | 条件不完整 | Table 2 · JudgeBench: A Benchmark for Evaluating LLM-based Judges— | 未披露JudgeBench: A Benchmark for Evaluating LLM-Based Judges | 发布 —报告 — |
 Llama-3.1-405B-Instruct | 56.86%总体准确率 | 条件不完整 | Table 2 · JudgeBench: A Benchmark for Evaluating LLM-based Judges— | 未披露JudgeBench: A Benchmark for Evaluating LLM-Based Judges | 发布 —报告 — |
| GPT-4o | 56.57%总体准确率 | 条件不完整 | Table 2 · JudgeBench: A Benchmark for Evaluating LLM-based Judges— | 未披露JudgeBench: A Benchmark for Evaluating LLM-Based Judges | 发布 —报告 — |
| Llama-3.1-70B-Instruct | 52.29%总体准确率 | 条件不完整 | Table 2 · JudgeBench: A Benchmark for Evaluating LLM-based Judges— | 未披露JudgeBench: A Benchmark for Evaluating LLM-Based Judges | 发布 —报告 — |
| GPT-4o-mini | 50%总体准确率 | 条件不完整 | Table 2 · JudgeBench: A Benchmark for Evaluating LLM-based Judges— | 未披露JudgeBench: A Benchmark for Evaluating LLM-Based Judges | 发布 —报告 — |
 Gemini-1.5-pro | 47.14%总体准确率 | 条件不完整 | Table 2 · JudgeBench: A Benchmark for Evaluating LLM-based Judges— | 未披露JudgeBench: A Benchmark for Evaluating LLM-Based Judges | 发布 —报告 — |
| Llama-3.1-8B-Instruct | 40.86%总体准确率 | 条件不完整 | Table 2 · JudgeBench: A Benchmark for Evaluating LLM-based Judges— | 未披露JudgeBench: A Benchmark for Evaluating LLM-Based Judges | 发布 —报告 — |
| Gemini-1.5-flash | 39.71%总体准确率 | 条件不完整 | Table 2 · JudgeBench: A Benchmark for Evaluating LLM-based Judges— | 未披露JudgeBench: A Benchmark for Evaluating LLM-Based Judges | 发布 —报告 — |
| Claude-3-Haiku | 33.14%总体准确率 | 条件不完整 | Table 2 · JudgeBench: A Benchmark for Evaluating LLM-based Judges— | 未披露JudgeBench: A Benchmark for Evaluating LLM-Based Judges | 发布 —报告 — |
结合任务范围与运行配置解读结果。
METR Time Horizon 1.1 来源已停止积极更新，最后更新于 2026 年 9 月 8 日。超过 16 小时的估计超出其可靠测量范围。
协议、配置与原始证据 →任务与测量
Benchmark 协议档案
- 任务／对象
- 原评测配置下的模型或智能体系统
- 测量目标
- 通过困难回答比较，评测模型评判器并考察自动评测可靠性。
- 评分／结果口径
- 总体准确率 · 表 2 中 Arena-Hard 判别器采用不同底层模型时的准确率。该指标衡量评判能力，而不是被评模型的风险率。
- 解释边界
- 评判器表现属于方法背景，不能直接测量前沿风险能力。
该流程在有可验证答案的任务上从同一个较强模型采样多个回答，再将正确与错误回答配对。裁判按两种顺序评判这些回答对，涵盖知识、推理、数学和编码任务。
一项已报告评测
来源评测 GPT-4o · Table 2 · JudgeBench: A Benchmark for Evaluating LLM-based Judges.
报告指标: 总体准确率 · 56.57%.
表 2 中 Arena-Hard 判别器采用不同底层模型时的准确率。该指标衡量评判能力，而不是被评模型的风险率。 见原文协议；不推断独立试验数量。
原文 Table 2 报告的 GPT-4o 测量结果；数值为转录，未独立复现实验。
测量档案 · NUWA 解读
档案区分来源方法阅读与既有目录信息；已经公开不代表完成独立证据复核或双语编辑复核。
- 测量构念
- 模型判官能否区分复杂回答的客观正误？
- 任务与样本
- 知识、推理、数学和编程难题转为标签配对，双顺序测试并明确平局处理。
- 判分与失效情形
- 双顺序中选客观正确回答，不一致或两次平局为错。
- 系统条件
- 现有材料尚未确定
- 统计含义
- 来源报告的结果表述；这不等同于已确定运行次数、分母或估计方法： 所报评价中许多强判官含GPT-4o仅略高随机。
- 效度与解释
- 构造正误配对不能覆盖全部开放评价品质，配对及参考正确性仍重要。
- 适用研究问题
- 模型建议：用相关难题验证判官，并报告顺序一致性。
- JudgeBench: A Benchmark for Evaluating LLM-Based Judges · AbstractSelected original resource https://arxiv.org/html/2410.12784v2; sha256:953e402aa5d7e59190cf34eebdd65bab720fab389e3d10bd1201950acb62bfd1; archived source capture; exact capture time not independently established
- JudgeBench: A Benchmark for Evaluating LLM-Based Judges · §3 JudgeBenchSelected original resource https://arxiv.org/html/2410.12784v2; sha256:953e402aa5d7e59190cf34eebdd65bab720fab389e3d10bd1201950acb62bfd1; archived source capture; exact capture time not independently established
- JudgeBench: A Benchmark for Evaluating LLM-Based Judges · §4 EvaluationSelected original resource https://arxiv.org/html/2410.12784v2; sha256:953e402aa5d7e59190cf34eebdd65bab720fab389e3d10bd1201950acb62bfd1; archived source capture; exact capture time not independently established
- JudgeBench: A Benchmark for Evaluating LLM-Based Judges · ConclusionSelected original resource https://arxiv.org/html/2410.12784v2; sha256:953e402aa5d7e59190cf34eebdd65bab720fab389e3d10bd1201950acb62bfd1; archived source capture; exact capture time not independently established
跨报告证据
相同 Benchmark 名称可能对应不同任务、计分规则和系统配置。各来源分别保留，比较组说明具体对齐了哪些条件。
JudgeBench: A Benchmark for Evaluating LLM-Based Judges
JudgeBench: A Benchmark for Evaluating LLM-Based Judges
实际评测方: 未披露
15 条结果记录 · 15 个报告系统名称
协议与比较依据 (5)
JudgeBench: A Benchmark for Evaluating LLM-based Judges：编程 · JudgeBench: A Benchmark for Evaluating LLM-Based Judgessource-report · 范围已审查
JudgeBench: A Benchmark for Evaluating LLM-based Judges：知识 · JudgeBench: A Benchmark for Evaluating LLM-Based Judgessource-report · 范围已审查
JudgeBench: A Benchmark for Evaluating LLM-based Judges：数学 · JudgeBench: A Benchmark for Evaluating LLM-Based Judgessource-report · 范围已审查
原始来源图表与材料
原文报告结果
原文顺序 · 原文配置
筛选系统
总体准确率
0–100%GPT-4oGPT-4o · 56.57% · 表 2 中 Arena-Hard 判别器采用不同底层模型时的准确率。该指标衡量评判能力，而不是被评模型的风险率。 · 见原文协议；不推断独立试验数量。
56.57%GPT-4o-miniGPT-4o-mini · 50.00% · 表 2 中 Arena-Hard 判别器采用不同底层模型时的准确率。该指标衡量评判能力，而不是被评模型的风险率。 · 见原文协议；不推断独立试验数量。
50.00%o1-previewo1-preview · 75.43% · 表 2 中 Arena-Hard 判别器采用不同底层模型时的准确率。该指标衡量评判能力，而不是被评模型的风险率。 · 见原文协议；不推断独立试验数量。
75.43%o1-minio1-mini · 65.71% · 表 2 中 Arena-Hard 判别器采用不同底层模型时的准确率。该指标衡量评判能力，而不是被评模型的风险率。 · 见原文协议；不推断独立试验数量。
65.71%o3-mini (high)o3-mini (high) · 80.86% · 表 2 中 Arena-Hard 判别器采用不同底层模型时的准确率。该指标衡量评判能力，而不是被评模型的风险率。 · 见原文协议；不推断独立试验数量。
80.86%o3-mini (medium)o3-mini (medium) · 76.57% · 表 2 中 Arena-Hard 判别器采用不同底层模型时的准确率。该指标衡量评判能力，而不是被评模型的风险率。 · 见原文协议；不推断独立试验数量。
76.57%o3-mini (low)o3-mini (low) · 70.57% · 表 2 中 Arena-Hard 判别器采用不同底层模型时的准确率。该指标衡量评判能力，而不是被评模型的风险率。 · 见原文协议；不推断独立试验数量。
70.57%Claude-3.5-SonnetClaude-3.5-Sonnet · 64.29% · 表 2 中 Arena-Hard 判别器采用不同底层模型时的准确率。该指标衡量评判能力，而不是被评模型的风险率。 · 见原文协议；不推断独立试验数量。
64.29%Claude-3-HaikuClaude-3-Haiku · 33.14% · 表 2 中 Arena-Hard 判别器采用不同底层模型时的准确率。该指标衡量评判能力，而不是被评模型的风险率。 · 见原文协议；不推断独立试验数量。
33.14%Llama-3.1-405B-InstructLlama-3.1-405B-Instruct · 56.86% · 表 2 中 Arena-Hard 判别器采用不同底层模型时的准确率。该指标衡量评判能力，而不是被评模型的风险率。 · 见原文协议；不推断独立试验数量。
56.86%Llama-3.1-70B-InstructLlama-3.1-70B-Instruct · 52.29% · 表 2 中 Arena-Hard 判别器采用不同底层模型时的准确率。该指标衡量评判能力，而不是被评模型的风险率。 · 见原文协议；不推断独立试验数量。
52.29%Llama-3.1-8B-InstructLlama-3.1-8B-Instruct · 40.86% · 表 2 中 Arena-Hard 判别器采用不同底层模型时的准确率。该指标衡量评判能力，而不是被评模型的风险率。 · 见原文协议；不推断独立试验数量。
40.86%显示 12 / 15 个系统
数值描述原文协议下的测量结果，不是综合安全评分。
表 2 中 Arena-Hard 判别器采用不同底层模型时的准确率。该指标衡量评判能力，而不是被评模型的风险率。 未单独注明评测日期；下表保留发表或记录日期。
评测条件与系统配置
- GPT-4o
- 见原文协议；不推断独立试验数量。 · Table 2 · JudgeBench: A Benchmark for Evaluating LLM-based Judges
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- GPT-4o-mini
- 见原文协议；不推断独立试验数量。 · Table 2 · JudgeBench: A Benchmark for Evaluating LLM-based Judges
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- o1-preview
- 见原文协议；不推断独立试验数量。 · Table 2 · JudgeBench: A Benchmark for Evaluating LLM-based Judges
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- o1-mini
- 见原文协议；不推断独立试验数量。 · Table 2 · JudgeBench: A Benchmark for Evaluating LLM-based Judges
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- o3-mini (high)
- 见原文协议；不推断独立试验数量。 · Table 2 · JudgeBench: A Benchmark for Evaluating LLM-based Judges
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- o3-mini (medium)
- 见原文协议；不推断独立试验数量。 · Table 2 · JudgeBench: A Benchmark for Evaluating LLM-based Judges
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- o3-mini (low)
- 见原文协议；不推断独立试验数量。 · Table 2 · JudgeBench: A Benchmark for Evaluating LLM-based Judges
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- Claude-3.5-Sonnet
- 见原文协议；不推断独立试验数量。 · Table 2 · JudgeBench: A Benchmark for Evaluating LLM-based Judges
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- Claude-3-Haiku
- 见原文协议；不推断独立试验数量。 · Table 2 · JudgeBench: A Benchmark for Evaluating LLM-based Judges
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- Llama-3.1-405B-Instruct
- 见原文协议；不推断独立试验数量。 · Table 2 · JudgeBench: A Benchmark for Evaluating LLM-based Judges
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- Llama-3.1-70B-Instruct
- 见原文协议；不推断独立试验数量。 · Table 2 · JudgeBench: A Benchmark for Evaluating LLM-based Judges
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- Llama-3.1-8B-Instruct
- 见原文协议；不推断独立试验数量。 · Table 2 · JudgeBench: A Benchmark for Evaluating LLM-based Judges
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- Gemini-1.5-pro
- 见原文协议；不推断独立试验数量。 · Table 2 · JudgeBench: A Benchmark for Evaluating LLM-based Judges
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- Gemini-1.5-flash
- 见原文协议；不推断独立试验数量。 · Table 2 · JudgeBench: A Benchmark for Evaluating LLM-based Judges
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- Deepseek-R1
- 见原文协议；不推断独立试验数量。 · Table 2 · JudgeBench: A Benchmark for Evaluating LLM-based Judges
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
| 系统 / 配置 | 总体准确率 | 知识 | 推理 | 数学 | 编程 | 发表 / 核验日期 |
|---|---|---|---|---|---|---|
| GPT-4o未注明 Harness | 56.57% | 50.65% | 54.08% | 75.00% | 59.52% | 来源核验2026-10-25 |
| GPT-4o-mini未注明 Harness | 50.00% | 48.05% | 43.88% | 69.64% | 45.24% | 来源核验2026-10-25 |
| o1-preview未注明 Harness | 75.43% | 66.23% | 79.59% | 85.71% | 85.71% | 来源核验2026-10-25 |
| o1-mini未注明 Harness | 65.71% | 58.44% | 62.24% | 82.14% | 78.57% | 来源核验2026-10-25 |
| o3-mini (high)未注明 Harness | 80.86% | 67.53% | 89.80% | 87.50% | 100.0% | 来源核验2026-10-25 |
| o3-mini (medium)未注明 Harness | 76.57% | 62.34% | 86.73% | 85.71% | 92.86% | 来源核验2026-10-25 |
| o3-mini (low)未注明 Harness | 70.57% | 62.99% | 69.39% | 83.93% | 83.33% | 来源核验2026-10-25 |
| Claude-3.5-Sonnet未注明 Harness | 64.29% | 62.34% | 66.33% | 66.07% | 64.29% | 来源核验2026-10-25 |
| Claude-3-Haiku未注明 Harness | 33.14% | 35.06% | 34.69% | 33.93% | 21.43% | 来源核验2026-10-25 |
| Llama-3.1-405B-Instruct未注明 Harness | 56.86% | 55.84% | 54.08% | 69.64% | 50.00% | 来源核验2026-10-25 |
| Llama-3.1-70B-Instruct未注明 Harness | 52.29% | 51.30% | 48.98% | 60.71% | 52.38% | 来源核验2026-10-25 |
| Llama-3.1-8B-Instruct未注明 Harness | 40.86% | 38.31% | 45.92% | 44.64% | 33.33% | 来源核验2026-10-25 |
| Gemini-1.5-pro未注明 Harness | 47.14% | 49.35% | 42.86% | 64.29% | 26.19% | 来源核验2026-10-25 |
| Gemini-1.5-flash未注明 Harness | 39.71% | 42.86% | 36.73% | 50.00% | 21.43% | 来源核验2026-10-25 |
| Deepseek-R1未注明 Harness | 73.14% | 59.09% | 82.65% | 80.36% | 92.86% | 来源核验2026-10-25 |
相关研究问题
参考文献
数值结果由所引研究的作者报告。
- [1] Sijun Tan, Siyuan Zhuang 等. JudgeBench: A Benchmark for Evaluating LLM-Based Judges. 2024-10-16. v2 [arXiv]; Author affiliations on the original paper title page; Table 2