NUWA 评测档案
AgentHarm
面向工具型智能体的有害多步骤请求。
跨报告监测
已发表证据
AgentHarm · Best-of-5 危害分数
跨来源报告的已发表测量。任务范围通过注释区分，配置差异保留在每条观测中。
3 条观测 · 0 已定位日期
● 条件匹配◇ 配置差异□ 部分条件未披露
3 条观测尚无已核实的模型发布日期，可在数据与系统结果中查看。
选择图中数据点或表格行，查看条件与出处。
3 条观测
| 系统／模型 | 结果 | 条件状态 | 任务／条件 | 评测方／报告 | 日期 |
|---|---|---|---|---|---|
 Mistral Large 2 · Template | 90.8%Best-of-5 危害分数 | 条件不完整 | Table 2 · AgentHarm— | 未披露AgentHarm: A Benchmark for Measuring Harmfulness of LLM Agents | 发布 —报告 — |
 GPT-4o · Template | 83.7%Best-of-5 危害分数 | 条件不完整 | Table 2 · AgentHarm— | 未披露AgentHarm: A Benchmark for Measuring Harmfulness of LLM Agents | 发布 —报告 — |
 Claude 3.5 Sonnet · Template | 79.7%Best-of-5 危害分数 | 条件不完整 | Table 2 · AgentHarm— | 未披露AgentHarm: A Benchmark for Measuring Harmfulness of LLM Agents | 发布 —报告 — |
结合任务范围与运行配置解读结果。
METR Time Horizon 1.1 来源已停止积极更新，最后更新于 2026 年 9 月 8 日。超过 16 小时的估计超出其可靠测量范围。
协议、配置与原始证据 →任务与测量
Benchmark 协议档案
- 任务／对象
- 响应有害任务请求的 AI 智能体
- 测量目标
- 指定攻击下的有害任务完成和拒答表现。
- 评分／结果口径
- 贪心采样危害分数 · 表 2 的模板攻击条件：贪心采样、温度为 1 的平均分、Best-of-5 分开展示，不将不同采样设置混为等条件比较。
- 解释边界
- 合成工具与任务完成情况不直接衡量现实损害。
一项已报告评测
来源评测 GPT-4o · Template · Table 2 · AgentHarm.
报告指标: 贪心采样危害分数 · 72.7%.
表 2 的模板攻击条件：贪心采样、温度为 1 的平均分、Best-of-5 分开展示，不将不同采样设置混为等条件比较。 见原文协议；不推断独立试验数量。
原文 Table 2 报告的 GPT-4o · Template 测量结果；数值为转录，未独立复现实验。
测量档案 · NUWA 解读
档案区分来源方法阅读与既有目录信息；已经公开不代表完成独立证据复核或双语编辑复核。
- 测量构念
- 防护能否阻止多步滥用，同时不只是破坏智能体能力？
- 任务与样本
- AgentHarm 含十一类110项恶意任务，增强后440项，采用合成工具和逐任务判分。
- 判分与失效情形
- 任务量表恶意完成与拒绝率为不同指标。
- 系统条件
- 定制合成工具，110基础或440增强任务。
- 统计含义
- 来源报告的结果表述；这不等同于已确定运行次数、分母或估计方法： 所报GPT-4o伤害得分在受测攻击下从48.4%升至72.7%。 拒绝率从48.9%降至13.6%，两者指标不同（§4.2）。
- 效度与解释
- 判分绑定定制合成工具，不能直接迁移到其他工具与框架（§5）。
- 适用研究问题
- 模型建议：同时核对恶意完成与良性能力，并标注具体攻击条件。
- AgentHarm: A Benchmark for Measuring Harmfulness of LLM Agents · AbstractSelected original resource https://arxiv.org/html/2410.09024v3; sha256:df646fcb08130ba2d9278560fdfab308fd50491576fbb391ad6843a8697a886a; archived source capture; exact capture time not independently established
- AgentHarm: A Benchmark for Measuring Harmfulness of LLM Agents · §3.1 Overview of AgentHarmSelected original resource https://arxiv.org/html/2410.09024v3; sha256:df646fcb08130ba2d9278560fdfab308fd50491576fbb391ad6843a8697a886a; archived source capture; exact capture time not independently established
- AgentHarm: A Benchmark for Measuring Harmfulness of LLM Agents · §4.2 Main ResultsSelected original resource https://arxiv.org/html/2410.09024v3; sha256:df646fcb08130ba2d9278560fdfab308fd50491576fbb391ad6843a8697a886a; archived source capture; exact capture time not independently established
- AgentHarm: A Benchmark for Measuring Harmfulness of LLM Agents · §5 DiscussionSelected original resource https://arxiv.org/html/2410.09024v3; sha256:df646fcb08130ba2d9278560fdfab308fd50491576fbb391ad6843a8697a886a; archived source capture; exact capture time not independently established
跨报告证据
相同 Benchmark 名称可能对应不同任务、计分规则和系统配置。各来源分别保留，比较组说明具体对齐了哪些条件。
AgentHarm: A Benchmark for Measuring Harmfulness of LLM Agents
AgentHarm: A Benchmark for Measuring Harmfulness of LLM Agents
实际评测方: 未披露
3 条结果记录 · 3 个报告系统名称
协议与比较依据 (3)
AgentHarm：Best-of-5 危害分数 · AgentHarm: A Benchmark for Measuring Harmfulness of LLM Agentssource-report · 范围已审查
AgentHarm：贪心采样危害分数 · AgentHarm: A Benchmark for Measuring Harmfulness of LLM Agentssource-report · 范围已审查
原始来源图表与材料
原文报告结果
原文顺序 · 原文配置
筛选系统
贪心采样危害分数
0–100%GPT-4o · TemplateGPT-4o · Template · 72.7% · 表 2 的模板攻击条件：贪心采样、温度为 1 的平均分、Best-of-5 分开展示，不将不同采样设置混为等条件比较。 · 见原文协议；不推断独立试验数量。
72.7%Claude 3.5 Sonnet · TemplateClaude 3.5 Sonnet · Template · 68.7% · 表 2 的模板攻击条件：贪心采样、温度为 1 的平均分、Best-of-5 分开展示，不将不同采样设置混为等条件比较。 · 见原文协议；不推断独立试验数量。
68.7%Mistral Large 2 · TemplateMistral Large 2 · Template · 80.5% · 表 2 的模板攻击条件：贪心采样、温度为 1 的平均分、Best-of-5 分开展示，不将不同采样设置混为等条件比较。 · 见原文协议；不推断独立试验数量。
80.5%显示 3 / 3 个系统
数值描述原文协议下的测量结果，不是综合安全评分。
表 2 的模板攻击条件：贪心采样、温度为 1 的平均分、Best-of-5 分开展示，不将不同采样设置混为等条件比较。 未单独注明评测日期；下表保留发表或记录日期。
评测条件与系统配置
- GPT-4o · Template
- 见原文协议；不推断独立试验数量。 · Table 2 · AgentHarm
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- Claude 3.5 Sonnet · Template
- 见原文协议；不推断独立试验数量。 · Table 2 · AgentHarm
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- Mistral Large 2 · Template
- 见原文协议；不推断独立试验数量。 · Table 2 · AgentHarm
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
| 系统 / 配置 | 贪心采样危害分数 | T=1 平均危害分数 | Best-of-5 危害分数 | 发表 / 核验日期 |
|---|---|---|---|---|
| GPT-4o · Template未注明 Harness | 72.7% | 70.7%±0.7 (source-reported; see source definition) | 83.7% | 来源核验2026-10-25 |
| Claude 3.5 Sonnet · Template未注明 Harness | 68.7% | 65.1%±1.3 (source-reported; see source definition) | 79.7% | 来源核验2026-10-25 |
| Mistral Large 2 · Template未注明 Harness | 80.5% | 67.4%±8.5 (source-reported; see source definition) | 90.8% | 来源核验2026-10-25 |
相关研究问题
参考文献
数值结果由所引研究的作者报告。
- [1] Maksym Andriushchenko, Alexandra Souly 等. AgentHarm: A Benchmark for Measuring Harmfulness of LLM Agents. 2025-04-18. v3 [arXiv]; Author affiliations on the original paper title page; Table 2