评测档案
FORTRESS
在国家安全与公共安全任务上评测防护,区分高危请求与正常用途的有用性。
任务与测量
Benchmark 协议档案
- 任务/对象
- 原任务配置下的模型或智能体系统
- 测量目标
- 在国家安全与公共安全任务上评测防护,区分高危请求与正常用途的有用性。
- 解释边界
- 评判器可靠性、任务定义和过度拒答影响所报告分数的含义。
测量档案 · NUWA 解读
档案区分来源方法阅读与既有目录信息;已经公开不代表完成独立证据复核或双语编辑复核。
- 测量构念
- 防护如何在国家公共安全限制与良性访问间权衡?
- 任务与样本
- 500项专家对抗提示各配良性版本和4–7项二元量表,覆盖三个大领域。
- 判分与失效情形
- 逐题二元量表的平均风险分及过拒分,不是实际伤害概率。
- 系统条件
- 500对对抗良性提示,单轮,判分实现另须审计。
- 统计含义
- 来源报告的结果表述;这不等同于已确定运行次数、分母或估计方法: Claude 3.5 Sonnet所报ARS/ORS为14.09/21.80,Gemini 2.5 Pro为66.29/1.40。
- 效度与解释
- 固定单轮提示、专业深度及小领域覆盖有限(§6),判官正确性还需单独审计。
- 适用研究问题
- 模型建议:同时保留ARS/ORS,并区分原论文估计与后续判分审计。
- FORTRESS: Frontier Risk Evaluation for National Security and Public Safety · AbstractSelected original resource https://arxiv.org/html/2506.14922; sha256:6d8ae92cd9c9950fafbc23990e3a18f67cf4f527869648b8351d21e52bc62efc; archived source capture; exact capture time not independently established
- FORTRESS: Frontier Risk Evaluation for National Security and Public Safety · §5.1 Main ResultsSelected original resource https://arxiv.org/html/2506.14922; sha256:6d8ae92cd9c9950fafbc23990e3a18f67cf4f527869648b8351d21e52bc62efc; archived source capture; exact capture time not independently established
- FORTRESS: Frontier Risk Evaluation for National Security and Public Safety · §6 LimitationsSelected original resource https://arxiv.org/html/2506.14922; sha256:6d8ae92cd9c9950fafbc23990e3a18f67cf4f527869648b8351d21e52bc62efc; archived source capture; exact capture time not independently established
原始来源图表与材料

相关研究问题
参考文献
- [1] Christina Q. Knight ∗, Kaustubh Deshpande ⋄ 等. FORTRESS: Frontier Risk Evaluation for National Security and Public Safety. 2025-06-17. v2 [arXiv]; Author affiliations on the original paper title page; Figure 1