证据记录

Llama-3.1-405B-Instruct

JudgeBench: A Benchmark for Evaluating LLM-based Judges · 证据记录

加州大学伯克利分校 / arXiv:2410.12784v2 / Capability · 任务能力

原始来源图表与材料

原文报告结果

原文顺序 · 原文配置

0–100%

Llama-3.1-405B-Instruct

Llama-3.1-405B-Instruct · 56.86% · 表 2 中 Arena-Hard 判别器采用不同底层模型时的准确率。该指标衡量评判能力，而不是被评模型的风险率。 · 见原文协议；不推断独立试验数量。

56.86%

显示 1 / 1 个系统

数值描述原文协议下的测量结果，不是综合安全评分。

表 2 中 Arena-Hard 判别器采用不同底层模型时的准确率。该指标衡量评判能力，而不是被评模型的风险率。未单独注明评测日期；下表保留发表或记录日期。

评测条件与系统配置

Llama-3.1-405B-Instruct: 见原文协议；不推断独立试验数量。 · Table 2 · JudgeBench: A Benchmark for Evaluating LLM-based Judges; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

原文报告结果 · 原文顺序
系统 / 配置	总体准确率	知识	推理	数学	编程	发表 / 核验日期
Llama-3.1-405B-Instruct未注明 Harness	56.86%	55.84%	54.08%	69.64%	50.00%	来源核验2026-10-25

通过困难回答比较，评测模型评判器并考察自动评测可靠性。

按原协议的操作化结果分类，主题关联与问题级矩阵判断分别记录。

原文 Table 2 报告的 Llama-3.1-405B-Instruct 测量结果；数值为转录，未独立复现实验。

评判器表现属于方法背景，不能直接测量前沿风险能力。

保留原文的配置、任务和聚合方式差异，并按原文顺序展示。转录不等于独立复现，不支持跨协议排名。

数值结果由所引研究的作者报告。

[1] Sijun Tan, Siyuan Zhuang 等. JudgeBench: A Benchmark for Evaluating LLM-based Judges. 2024-10-16. v2 [arXiv]; Author affiliations on the original paper title page; Table 2