白泽(Whitzard)女娲实验室 ↗
NUWANUWA INDEX

搜索 NUWA Index

研究 · 测量协议 · 评测结果 · 观点

English
← NUWA Index

评测档案

FORTRESS

在国家安全与公共安全任务上评测防护,区分高危请求与正常用途的有用性。

来源与出处 ↓ 阅读研究记录 →

任务与测量

Benchmark 协议档案

任务/对象
原任务配置下的模型或智能体系统
测量目标
在国家安全与公共安全任务上评测防护,区分高危请求与正常用途的有用性。
解释边界
评判器可靠性、任务定义和过度拒答影响所报告分数的含义。
测量档案 · NUWA 解读

档案区分来源方法阅读与既有目录信息;已经公开不代表完成独立证据复核或双语编辑复核。

测量构念
防护如何在国家公共安全限制与良性访问间权衡?
任务与样本
500项专家对抗提示各配良性版本和4–7项二元量表,覆盖三个大领域。
判分与失效情形
逐题二元量表的平均风险分及过拒分,不是实际伤害概率。
系统条件
500对对抗良性提示,单轮,判分实现另须审计。
统计含义
来源报告的结果表述;这不等同于已确定运行次数、分母或估计方法: Claude 3.5 Sonnet所报ARS/ORS为14.09/21.80,Gemini 2.5 Pro为66.29/1.40。
效度与解释
固定单轮提示、专业深度及小领域覆盖有限(§6),判官正确性还需单独审计。
适用研究问题
模型建议:同时保留ARS/ORS,并区分原论文估计与后续判分审计。
原始来源图表与材料
FORTRESS — Figure 1
Figure 1 · 原文 Figure 1。请结合下方的协议范围与局限阅读。 查看原图 ↗

相关研究问题

参考文献

  1. [1] Christina Q. Knight ∗, Kaustubh Deshpande ⋄ 等. FORTRESS: Frontier Risk Evaluation for National Security and Public Safety. 2025-06-17. v2 [arXiv]; Author affiliations on the original paper title page; Figure 1