NUWA 风险评测 · 研究方法
Knowing When to Stop: Bayesian Optimal Stopping for LLM Evaluations
NUWA 研究解读 · 独立复核待完成
NUWA Research Note
研究问题研究设计与假设来源发现NUWA 解读局限与相反证据研究与决策意义证据补充机构与角色原始资源模型辅助整理 · 选读原始全文或官方文章中的相关章节；尚未完成逐章节审计。
研究速读
九种验证设置的节省为约 57%–97%；停止规则用 97% 可信区间，另有不同统计区间，不能统一为 95% CI。
研究问题
何时停止采样，既节省预算又保持精度？
研究设计与假设
方法按后验精度决定何时停止采样，九个验证单元报告相对计划试验量的节省。停止规则使用 97% 可信区间；文中其他图表和单元的区间约定分别保留。
来源发现
九个验证单元相对计划试验量的节省为 57.2%–97.3%。范围描述一套验证设计，不保证未来评测同样节省，也不是模型能力指标。
NUWA 解读
达到区间宽度目标不等于保证覆盖率，也不自动保持对稀有危险行为的检出能力。资源节省必须连同停止规则和低概率区域表现一起解释。
局限与相反证据
单一主要验证配置；区间宽度保证不等于覆盖率保证，极端/稀有结果尤需谨慎。
研究与决策意义
NUWA 建议：补充既有 optstop 条目的停止条件、反例与节省适用范围。
精确来源位置
- Knowing When to Stop: Bayesian Optimal Stopping for LLM Evaluations · §§2–4; Fig.2–3; Appendix B; text lines 00186,00772Original resource captured 2026-10-28T07:25:52.921145+00:00; sha256:43a40c11b2812c7aa61e8ae9b4cc9f1a5ba6f870af8e92af928cd1960565f137
来源核查、数据提取、编辑批准与实验复现分别记录。 方法说明 →
证据补充 · 2026-10-28
模型辅助整理 · 独立证据及双语编辑复核待完成。以下数值为来源发现或材料计数，与趋势结果序列分开保存。
停止规则使用 97% 可信区间，不能统一改称 95% 置信区间。九单元的 57.2%–97.3% 节省属于该验证设计；达到宽度目标并不保证覆盖率或稀有行为的检出能力。
原文数值与条件（2 条）
计数、比例与对比效应使用不同单位。样本数量不等于独立实验数量；未披露的分子和区间水平保持未知。
| 系统／指标 | 原文数值 | 总体与条件 |
|---|---|---|
| Planned trial reduction | 57.2 % | 条件、限制与来源{
"precisionThreshold": 0.05,
"stoppingCredibleLevel": 0.97,
"validation": "nine cells;200items except mid-binary198;10epochs"
}Extremal cells across one validation design; not guaranteed future savings or a model capability score. 原文 ↗ · §3.1; text lines 00188,00707Original capture 2026-10-28T07:25:52.921145+00:00; sha256:43a40c11b2812c7aa61e8ae9b4cc9f1a5ba6f870af8e92af928cd1960565f137 |
| Planned trial reduction | 97.3 % | 条件、限制与来源{
"precisionThreshold": 0.05,
"stoppingCredibleLevel": 0.97,
"validation": "nine cells;200items except mid-binary198;10epochs"
}Extremal cells across one validation design; not guaranteed future savings or a model capability score. 原文 ↗ · §3.1; text lines 00188,00959Original capture 2026-10-28T07:25:52.921145+00:00; sha256:43a40c11b2812c7aa61e8ae9b4cc9f1a5ba6f870af8e92af928cd1960565f137 |
本次解释的来源
- Knowing When to Stop: Bayesian Optimal Stopping for LLM Evaluations · §§2–4; Fig.2–3; Appendix B; text lines 00186,00772Original resource captured 2026-10-28T07:25:52.921145+00:00; sha256:43a40c11b2812c7aa61e8ae9b4cc9f1a5ba6f870af8e92af928cd1960565f137
机构与角色
作者 (1)
Toby D. Pilditch
引用与复用
引用研究发现时请引用原始出版物；引用 NUWA 的整理与解释时，单独引用本站记录及对应快照。
原始出版物 · BibTeX
@misc{optstop,
title = {Knowing When to Stop: Bayesian Optimal Stopping for LLM Evaluations},
url = {https://www.aisi.gov.uk/research/knowing-when-to-stop-bayesian-optimal-stopping-for-llm-evaluations},
author = {Toby D. Pilditch},
year = {2026},
date = {2026-08-14},
version = {Source capture 2026-10-25},
note = {Source capture 2026-10-25}
}
NUWA 记录 · BibTeX
@misc{optstop-nuwa,
title = {Knowing When to Stop: Bayesian Optimal Stopping for LLM Evaluations — NUWA research record},
url = {https://whitzard.tech/nuwa/whitzard-index/work/optstop/},
version = {2026-10-29.1},
organization = {NUWA Frontier AI Safety Lab},
howpublished = {Retained note edition: https://whitzard.tech/nuwa/whitzard-index/data/record-editions/2026-10-29.1--optstop.json},
note = {NUWA research note. Source-reading scope and independent review status are stated on the record. Snapshot 2026-10-29.1. Retained note edition: https://whitzard.tech/nuwa/whitzard-index/data/record-editions/2026-10-29.1--optstop.json.}
}
证据快照 2026-10-29.1 · 索引更新 · RSS
参考文献
- [1] Toby D. Pilditch. Knowing When to Stop: Bayesian Optimal Stopping for LLM Evaluations. 2026-08-14
- [2] Toby D. Pilditch. Knowing When to Stop: Bayesian Optimal Stopping for LLM Evaluations. 2026-08-14 ; Author affiliations on the original paper title page; §§2–4; Fig.2–3; Appendix B; text lines 00186,00772