NUWA 风险评测 · 技术报告
How Should AI Safety Benchmarks Benchmark Safety?
NUWA 研究解读 · 独立复核待完成
NUWA Research Note
研究问题研究设计与假设来源发现NUWA 解读局限与相反证据研究与决策意义证据补充机构与角色原始资源模型辅助整理 · 选读原始全文或官方文章中的相关章节；尚未完成逐章节审计。
研究速读
综述编码 210 项评测，讨论构念覆盖、频率与风险概率混淆及代理测量链。
研究问题
安全 Benchmark 与现实危害之间相隔哪些代理变量？
研究设计与假设
研究按自身编码框架审查 210 个安全基准，区分测试任务、代理指标、目标风险与现实后果之间的关系。此次选读定义、结果及局限，而非独立重做所有编码。
来源发现
综述指出测量构念覆盖不足，以及基准结果通向安全主张的论证缺口。210 项是作者所审查的集合规模，不是所有基准质量的总体普查。
NUWA 解读
效度审查需要解释每一段代理链及缺失证据。对测量薄弱环节的诊断不应压缩成无依据的统一质量分。
局限与相反证据
属于作者的样本编码与方法建议；不是对全球全部基准的客观评级，也不能据此生成 NUWA 总分。
研究与决策意义
NUWA 建议：将构念、效度、严重性与外推假设作为档案必填审查项。
精确来源位置
- How Should AI Safety Benchmarks Benchmark Safety? · v3 abstract; §§4–7; Appendix D; text lines 00072Original resource captured 2026-10-28T07:24:41.534986+00:00; sha256:70eecb9bfae0a09f68bc913db1ecc53ece14721009038c714976cb3a7f73f114
来源核查、数据提取、编辑批准与实验复现分别记录。 方法说明 →
证据补充 · 2026-10-28
模型辅助整理 · 独立证据及双语编辑复核待完成。以下数值为来源发现或材料计数，与趋势结果序列分开保存。
原文数值与条件（1 条）
计数、比例与对比效应使用不同单位。样本数量不等于独立实验数量；未披露的分子和区间水平保持未知。
| 系统／指标 | 原文数值 | 总体与条件 |
|---|---|---|
| Reviewed safety benchmarks | 210 基准 | 条件、限制与来源Inventory count, not outcome denominator or severity. 原文 ↗ · Abstract; benchmark design; text lines 00072Original capture 2026-10-28T07:24:41.534986+00:00; sha256:70eecb9bfae0a09f68bc913db1ecc53ece14721009038c714976cb3a7f73f114 |
机构与角色
作者 (5)
Cheng Yu · Severin Engelmann · Ruoxuan Cao · Dalia Ali · Orestis Papakyriakopoulos
引用与复用
引用研究发现时请引用原始出版物；引用 NUWA 的整理与解释时，单独引用本站记录及对应快照。
原始出版物 · BibTeX
@misc{safety-benchmark-review,
title = {How Should AI Safety Benchmarks Benchmark Safety?},
url = {https://arxiv.org/html/2601.23112},
author = {Cheng Yu and Severin Engelmann and Ruoxuan Cao and Dalia Ali and Orestis Papakyriakopoulos},
version = {arXiv:2601.23112v3; version header 05 Aug 2026; Original resource captured 2026-10-28T07:24:41.534986+00:00; sha256:70eecb9bfae0a09f68bc913db1ecc53ece14721009038c714976cb3a7f73f114},
note = {arXiv:2601.23112v3; version header 05 Aug 2026; Original resource captured 2026-10-28T07:24:41.534986+00:00; sha256:70eecb9bfae0a09f68bc913db1ecc53ece14721009038c714976cb3a7f73f114}
}
NUWA 记录 · BibTeX
@misc{safety-benchmark-review-nuwa,
title = {How Should AI Safety Benchmarks Benchmark Safety? — NUWA research record},
url = {https://whitzard.tech/nuwa/whitzard-index/work/safety-benchmark-review/},
version = {2026-10-29.1},
organization = {NUWA Frontier AI Safety Lab},
howpublished = {Retained note edition: https://whitzard.tech/nuwa/whitzard-index/data/record-editions/2026-10-29.1--safety-benchmark-review.json},
note = {NUWA research note. Source-reading scope and independent review status are stated on the record. Snapshot 2026-10-29.1. Retained note edition: https://whitzard.tech/nuwa/whitzard-index/data/record-editions/2026-10-29.1--safety-benchmark-review.json.}
}
证据快照 2026-10-29.1 · 索引更新 · RSS
参考文献
- [1] Cheng Yu, Severin Engelmann 等. How Should AI Safety Benchmarks Benchmark Safety? ; v3 abstract; §§4–7; Appendix D; text lines 00072