NUWA 风险评测 · 研究方法
Item Response Theory for AI Safety
NUWA 研究解读 · 独立复核待完成
NUWA Research Note
研究问题研究设计与假设来源发现NUWA 解读局限与相反证据研究与决策意义证据补充机构与角色原始资源模型辅助整理 · 选读原始全文或官方文章中的相关章节；尚未完成逐章节审计。
研究速读
总体至多 192 模型，但完整跨基准池 169，潜变量结构分析只有 134；项目由 5,255 变为过滤后 5,067。
研究问题
安全分数是否由相同潜在特征驱动？
研究设计与假设
研究用项目反应理论分析跨安全基准的潜在结构，并比较不同阶段的完整样本。总体至多 192 个模型，完整跨基准池 169 个，潜变量结构分析为 134 个；项目从 5,255 个过滤至 5,067 个。
来源发现
研究揭示项目反应的共同模式，但因子名称是载荷概括，而非独立验证的现实风险构念。提示式藏拙模型属于受控试验条件。
NUWA 解读
潜变量可以帮助检查题目冗余、难度与模型表现结构，却不能自动成为统一风险分数。样本筛选与判分失败会改变可解释总体。
局限与相反证据
因子名称只是载荷模式总结；校准分布变化、判分失败与提示式藏拙模型限制外推。
研究与决策意义
NUWA 建议：补充既有条目的条件分母；不把 IRT 变成全球统一风险评分。
精确来源位置
- Item Response Theory for AI Safety · Methods; Table1; results; limitations; text lines 00142,00196Original resource captured 2026-10-28T07:25:52.921099+00:00; sha256:b73cdc52885df6e9c0e26f0fcc68480d3e3222ed79c4b6c6106ec2e00203b492
来源核查、数据提取、编辑批准与实验复现分别记录。 方法说明 →
证据补充 · 2026-10-28
模型辅助整理 · 独立证据及双语编辑复核待完成。以下数值为来源发现或材料计数，与趋势结果序列分开保存。
本轮原文补充区分 192 个总体模型、169 个完整跨基准模型和 134 个潜变量分析模型，保留 5,255 至 5,067 的项目筛选。因子名称概括载荷，不能当作已验证的统一风险构念。
原文数值与条件（5 条）
计数、比例与对比效应使用不同单位。样本数量不等于独立实验数量；未披露的分子和区间水平保持未知。
| 系统／指标 | 原文数值 | 总体与条件 |
|---|---|---|
| Models in headline cohort | 192 模型 | 条件、限制与来源Different analysis populations; do not use192as factor-analysis denominator. 原文 ↗ · Methods; Table1; text lines 00071,00088,00101,00142,00192,00460Original capture 2026-10-28T07:25:52.921099+00:00; sha256:b73cdc52885df6e9c0e26f0fcc68480d3e3222ed79c4b6c6106ec2e00203b492 |
| Complete benchmark models | 169 模型 | 条件、限制与来源Different analysis populations; do not use192as factor-analysis denominator. 原文 ↗ · Methods; Table1; text lines 00142,00238,00462Original capture 2026-10-28T07:25:52.921099+00:00; sha256:b73cdc52885df6e9c0e26f0fcc68480d3e3222ed79c4b6c6106ec2e00203b492 |
| Latent-analysis models | 134 模型 | 条件、限制与来源Different analysis populations; do not use192as factor-analysis denominator. 原文 ↗ · Methods; Table1; text lines 00142,00196Original capture 2026-10-28T07:25:52.921099+00:00; sha256:b73cdc52885df6e9c0e26f0fcc68480d3e3222ed79c4b6c6106ec2e00203b492 |
| Initial item inventory | 5255 项目 | 条件、限制与来源Different analysis populations; do not use192as factor-analysis denominator. 原文 ↗ · Methods; Table1; text lines 00088,00103,00162Original capture 2026-10-28T07:25:52.921099+00:00; sha256:b73cdc52885df6e9c0e26f0fcc68480d3e3222ed79c4b6c6106ec2e00203b492 |
| Retained items | 5067 项目 | 条件、限制与来源Different analysis populations; do not use192as factor-analysis denominator. 原文 ↗ · Methods; Table1; text lines 00140,00145Original capture 2026-10-28T07:25:52.921099+00:00; sha256:b73cdc52885df6e9c0e26f0fcc68480d3e3222ed79c4b6c6106ec2e00203b492 |
本次解释的来源
- Item Response Theory for AI Safety · Methods; Table1; results; limitations; text lines 00142,00196Original resource captured 2026-10-28T07:25:52.921099+00:00; sha256:b73cdc52885df6e9c0e26f0fcc68480d3e3222ed79c4b6c6106ec2e00203b492
机构与角色
作者 (4)
Joshua Fonseca Rivera · Neil Shah · David Demitri Africa · Konstantinos Voudouris
引用与复用
引用研究发现时请引用原始出版物；引用 NUWA 的整理与解释时，单独引用本站记录及对应快照。
原始出版物 · BibTeX
@misc{item-response-safety,
title = {Item Response Theory for AI Safety},
url = {https://www.aisi.gov.uk/research/item-response-theory-for-ai-safety},
author = {Joshua Fonseca Rivera and Neil Shah and David Demitri Africa and Konstantinos Voudouris},
year = {2026},
date = {2026-08-05},
version = {Source capture 2026-10-25},
note = {Source capture 2026-10-25}
}
NUWA 记录 · BibTeX
@misc{item-response-safety-nuwa,
title = {Item Response Theory for AI Safety — NUWA research record},
url = {https://whitzard.tech/nuwa/whitzard-index/work/item-response-safety/},
version = {2026-10-29.1},
organization = {NUWA Frontier AI Safety Lab},
howpublished = {Retained note edition: https://whitzard.tech/nuwa/whitzard-index/data/record-editions/2026-10-29.1--item-response-safety.json},
note = {NUWA research note. Source-reading scope and independent review status are stated on the record. Snapshot 2026-10-29.1. Retained note edition: https://whitzard.tech/nuwa/whitzard-index/data/record-editions/2026-10-29.1--item-response-safety.json.}
}
证据快照 2026-10-29.1 · 索引更新 · RSS
参考文献
- [1] Joshua Fonseca Rivera, Neil Shah 等. Item Response Theory for AI Safety. 2026-08-05 ; Official publication masthead and article byline
- [2] Joshua Fonseca Rivera, Neil Shah 等. Item Response Theory for AI Safety. 2026-08-05 ; Methods; Table1; results; limitations; text lines 00142,00196