NUWA 评测档案
Meta CyberSecEval / CyberSecEval 4
提供网络能力与防护评测套件，分别组织任务族和版本协议。
任务与测量
Benchmark 协议档案
- 任务／对象
- 原任务配置下的模型或智能体系统
- 测量目标
- 提供网络能力与防护评测套件，分别组织任务族和版本协议。
- 解释边界
- 不同代际套件和任务族的结果需要分别解释。
测量档案 · NUWA 解读
档案区分来源方法阅读与既有目录信息；已经公开不代表完成独立证据复核或双语编辑复核。
- 测量构念
- CyberSecEval套件覆盖哪些安全构念？
- 任务与样本
- 第四版文档区分攻击辅助、注入与解释器风险以及防御任务，并新增CyberSOCEval和AutoPatchBench。
- 判分与失效情形
- 现有材料尚未确定
- 系统条件
- 现有材料尚未确定
- 统计含义
- 现有材料尚未确定
- 效度与解释
- 介绍不足以确立所有组件协议、版本、样本数或可比得分。
- 适用研究问题
- 模型建议：比较模型前选择并引用具体组件文档。
- Introduction · Introduction: CyberSecEval 4 overviewSelected original resource https://meta-llama.github.io/PurpleLlama/CyberSecEval/docs/intro; sha256:d1fa0b20e03bb8672ef79d157f38f9167109068cfcf0ad7f12ada2abcc3457f7; archived source capture; exact capture time not independently established
- Introduction · Benchmark descriptions: CyberSOCEval and AutoPatch TestsSelected original resource https://meta-llama.github.io/PurpleLlama/CyberSecEval/docs/intro; sha256:d1fa0b20e03bb8672ef79d157f38f9167109068cfcf0ad7f12ada2abcc3457f7; archived source capture; exact capture time not independently established
原始来源图表与材料
评测套件
组成协议
该套件包含不同版本的独立协议。原始介绍未提供统一数值结果；各组成评测的成绩须分别记录。
- 01攻击请求与误拒评测
- 02安全代码生成
- 03提示注入
- 04代码解释器
- 05漏洞利用
- 06定向钓鱼
- 07自主网络行动
- 08自动修补
- 09恶意软件分析
- 10威胁情报推理
相关研究问题
参考文献
- [1] Introduction ; Official publication masthead and article byline