评测档案
BioTIER
同时评测高风险请求拒答与正常生物研究协助的保留。
任务与测量
Benchmark 协议档案
- 任务/对象
- 响应分层生物风险提示的模型
- 测量目标
- 在专家整理的提示集合中观察响应与拒答行为。
- 解释边界
- 拒答属于防护结果,不直接测量潜在生物知识或任务能力。
测量档案 · NUWA 解读
档案区分来源方法阅读与既有目录信息;已经公开不代表完成独立证据复核或双语编辑复核。
- 测量构念
- 生物防护能否区分狭窄高风险请求与良性科研访问?
- 任务与样本
- 542项专家提示分三个风险集合;对十家开发者52个模型以实质回答或拒绝作二元判分。
- 判分与失效情形
- 实质回答或拒绝的二元遵从,分受限应拒与良性应答。
- 系统条件
- 542提示、52模型,采用公开最高推理配置。
- 统计含义
- 来源报告的结果表述;这不等同于已确定运行次数、分母或估计方法: 二元遵从不评分正确性、完整性或现实增益(§3.3)。
- 效度与解释
- 分类阈值含专家判断,须定期更新,且存在针对基准训练的可能(§5.4)。
- 适用研究问题
- 模型建议:分别报告拒绝不足与过度拒绝,不将遵从视为操作性伤害分数。
- BioTIER: A Refusal Benchmark for Targeted Biological Risk Mitigation · AbstractSelected original resource https://arxiv.org/html/2607.14479v1; sha256:d39bab620389ee6f797ce66762dc0bda4f5afdf89d5653bcbd08a2f0970b9e01; archived source capture; exact capture time not independently established
- BioTIER: A Refusal Benchmark for Targeted Biological Risk Mitigation · §3.3 EvaluationSelected original resource https://arxiv.org/html/2607.14479v1; sha256:d39bab620389ee6f797ce66762dc0bda4f5afdf89d5653bcbd08a2f0970b9e01; archived source capture; exact capture time not independently established
- BioTIER: A Refusal Benchmark for Targeted Biological Risk Mitigation · §5.4 LimitationsSelected original resource https://arxiv.org/html/2607.14479v1; sha256:d39bab620389ee6f797ce66762dc0bda4f5afdf89d5653bcbd08a2f0970b9e01; archived source capture; exact capture time not independently established
原始来源图表与材料

相关研究问题
化生放核 / 危险知识 →
响应处理为该风险主题提供防护背景,非危险能力分数。
参考文献
- [1] Eleanor M. Marshall, Pedro Medeiros 等. BioTIER: A Refusal Benchmark for Targeted Biological Risk Mitigation. 2026-07-16. v1 [arXiv]; Author affiliations on the original paper title page; Figure 6