白泽(Whitzard)女娲实验室 ↗
NUWANUWA INDEX

搜索 NUWA Index

研究 · 测量协议 · 评测结果 · 观点

English
← NUWA Index

评测档案

BioTIER

同时评测高风险请求拒答与正常生物研究协助的保留。

来源与出处 ↓ 阅读研究记录 →

任务与测量

Benchmark 协议档案

任务/对象
响应分层生物风险提示的模型
测量目标
在专家整理的提示集合中观察响应与拒答行为。
解释边界
拒答属于防护结果,不直接测量潜在生物知识或任务能力。
测量档案 · NUWA 解读

档案区分来源方法阅读与既有目录信息;已经公开不代表完成独立证据复核或双语编辑复核。

测量构念
生物防护能否区分狭窄高风险请求与良性科研访问?
任务与样本
542项专家提示分三个风险集合;对十家开发者52个模型以实质回答或拒绝作二元判分。
判分与失效情形
实质回答或拒绝的二元遵从,分受限应拒与良性应答。
系统条件
542提示、52模型,采用公开最高推理配置。
统计含义
来源报告的结果表述;这不等同于已确定运行次数、分母或估计方法: 二元遵从不评分正确性、完整性或现实增益(§3.3)。
效度与解释
分类阈值含专家判断,须定期更新,且存在针对基准训练的可能(§5.4)。
适用研究问题
模型建议:分别报告拒绝不足与过度拒绝,不将遵从视为操作性伤害分数。
原始来源图表与材料
BioTIER — Figure 6
Figure 6 · 原文 Figure 6。请结合下方的协议范围与局限阅读。 查看原图 ↗

相关研究问题

参考文献

  1. [1] Eleanor M. Marshall, Pedro Medeiros 等. BioTIER: A Refusal Benchmark for Targeted Biological Risk Mitigation. 2026-07-16. v1 [arXiv]; Author affiliations on the original paper title page; Figure 6