风险评测 · 研究方法

HiBayES: Improving LLM evaluation with hierarchical Bayesian modelling

NUWA 研究解读 · 独立复核待完成

首次发表: 发表日期尚未核实来源核验: 2026-10-28

原始来源 ↗引用本记录 ↓

NUWA Research Note

研究问题研究设计与假设来源发现 NUWA 解读局限与相反证据研究与决策意义证据补充机构与角色原始资源

模型辅助整理 · 选读原始全文或官方文章中的相关章节；尚未完成逐章节审计。

研究速读

层次贝叶斯建模显式处理嵌套结构与多类结果，支持比简单均值更细的推断。

研究问题

重复运行、题目差异和评审差异如何进入不确定性？

研究设计与假设

官方方法介绍通过层次贝叶斯模型组织题目、重复运行及评审等嵌套变化，并讨论部分汇聚。本次选读官方介绍，未声称完成其全部论文和代码审计。

来源发现

嵌套模型有助于区分简单汇总均值掩盖的变异来源，但同时引入层级结构、先验与部分汇聚假设。

NUWA 解读

不确定性应与实际抽样和依赖结构相符；更复杂的模型不是自动更可靠，仍需检查先验、后验诊断和模型错设。

局限与相反证据

模型假设、先验和部分汇聚仍须诊断；可信区间不可自动解释为频率学置信区间。

研究与决策意义

NUWA 建议：将任务/运行/评审单位与不确定性类型共同登记。

精确来源位置

HiBayES: Improving LLM evaluation with hierarchical Bayesian modelling · Official methods article; text lines 00001,00012,00013,00018,00021,00024,00025,00027Original resource captured 2026-10-28T07:24:46.595313+00:00; sha256:c82cd12ddaeb77a8e3cb6508891e42849838f2e9b1485f4a61b71f4eac5547b0

来源核查、数据提取、编辑批准与实验复现分别记录。方法说明 →

证据补充 · 2026-10-28

模型辅助整理 · 独立证据及双语编辑复核待完成。以下数值为来源发现或材料计数，与趋势结果序列分开保存。

下载来源证据 · JSON ↓

机构与角色

发布机构英国 AI 安全研究所

引用与复用

引用研究发现时请引用原始出版物；引用 NUWA 的整理与解释时，单独引用本站记录及对应快照。

BibTeX ↓RIS ↓记录与来源元数据 · JSON ↓阅读覆盖 · JSON 提交更正

原始出版物 · BibTeX

@misc{hibayes,
  title = {HiBayES: Improving LLM evaluation with hierarchical Bayesian modelling},
  url = {https://www.aisi.gov.uk/blog/hibayes-improving-llm-evaluation-with-hierarchical-bayesian-modelling},
  version = {Original resource captured 2026-10-28T07:24:46.595313+00:00; sha256:c82cd12ddaeb77a8e3cb6508891e42849838f2e9b1485f4a61b71f4eac5547b0},
  note = {Original resource captured 2026-10-28T07:24:46.595313+00:00; sha256:c82cd12ddaeb77a8e3cb6508891e42849838f2e9b1485f4a61b71f4eac5547b0}
}

NUWA 记录 · BibTeX

@misc{hibayes-nuwa,
  title = {HiBayES: Improving LLM evaluation with hierarchical Bayesian modelling — NUWA research record},
  url = {https://whitzard.tech/nuwa/whitzard-index/work/hibayes/},
  version = {2026-10-29.1},
  organization = {NUWA Frontier AI Safety Lab},
  howpublished = {Retained note edition: https://whitzard.tech/nuwa/whitzard-index/data/record-editions/2026-10-29.1--hibayes.json},
  note = {NUWA research note. Source-reading scope and independent review status are stated on the record. Snapshot 2026-10-29.1. Retained note edition: https://whitzard.tech/nuwa/whitzard-index/data/record-editions/2026-10-29.1--hibayes.json.}
}

证据快照 2026-10-29.1 · 索引更新 · RSS

参考文献

[1] HiBayES: Improving LLM evaluation with hierarchical Bayesian modelling ; Official methods article; text lines 00001,00012,00013,00018,00021,00024,00025,00027