白泽(Whitzard)女娲实验室 ↗
NUWANUWA INDEX

搜索 NUWA Index

研究 · 测量协议 · 评测结果 · 观点

English
← NUWA Index

评测档案

TamperBench

在微调及表征层篡改条件下,对开放权重模型防护开展压力测试,并跟踪有用性。

来源与出处 ↓ 阅读研究记录 →

任务与测量

Benchmark 协议档案

任务/对象
原任务配置下的模型或智能体系统
测量目标
在微调及表征层篡改条件下,对开放权重模型防护开展压力测试,并跟踪有用性。
解释边界
权重篡改与 API 越狱的威胁模型不同,危害降低也可能伴随能力损失。
测量档案 · NUWA 解读

档案区分来源方法阅读与既有目录信息;已经公开不代表完成独立证据复核或双语编辑复核。

测量构念
开放权重防护对保留效用的修改有多稳健?
任务与样本
21个模型面对九类篡改,并分别搜索超参数,同时评价安全与效用。
判分与失效情形
MMLU-Pro相对退化≤10%时最坏StrongREJECT,攻击均值另计。
系统条件
主要搜索每模型攻击对40次超参数试验。
统计含义
来源报告的结果表述;这不等同于已确定运行次数、分母或估计方法: 主要比较在MMLU-Pro相对退化不超过10%时选择最坏StrongREJECT结果。 每模型攻击40次搜索定义了对抗预算。
效度与解释
主要模型为0.6–8B,聚焦拒绝型防护,大模型覆盖初步(§5)。
适用研究问题
模型建议:比较时保留效用约束与攻击搜索预算。
原始来源图表与材料
TamperBench — Figure 8
Figure 8 · 原文 Figure 8。请结合下方的协议范围与局限阅读。 查看原图 ↗

相关研究问题

参考文献

  1. [1] Saad Hossain, Tom Tseng 等. TamperBench: Systematically Stress-Testing LLM Safety Under Fine-Tuning and Tampering. 2026-02-06. v2 [arXiv]; Author affiliations on the original paper title page; Figure 8