NUWA 评测档案
AgentDojo
工具输出含对抗指令时的智能体行为。
跨报告监测
已发表证据
AgentDojo · 攻击下任务完成率
跨来源报告的已发表测量。任务范围通过注释区分，配置差异保留在每条观测中。
10 条观测 · 0 已定位日期
● 条件匹配◇ 配置差异□ 部分条件未披露
10 条观测尚无已核实的模型发布日期，可在数据与系统结果中查看。
选择图中数据点或表格行，查看条件与出处。
10 条观测
| 系统／模型 | 结果 | 条件状态 | 任务／条件 | 评测方／报告 | 日期 |
|---|---|---|---|---|---|
 GPT-4 Turbo | 54.05%攻击下任务完成率± 3.89 pp (95% CI) | 条件不完整 | 629 security cases / 97 user tasksPaper's baseline tool-calling agent (§3.2) | 未披露AgentDojo: A Dynamic Environment to Evaluate Prompt Injection Attacks and Defenses for LLM Agents | 发布 —报告 2024-11-24 |
 Claude 3 Opus | 52.46%攻击下任务完成率± 3.90 pp (95% CI) | 条件不完整 | 629 security cases / 97 user tasksPaper's baseline tool-calling agent (§3.2) | 未披露AgentDojo: A Dynamic Environment to Evaluate Prompt Injection Attacks and Defenses for LLM Agents | 发布 —报告 2024-11-24 |
| Claude 3.5 Sonnet | 51.19%攻击下任务完成率± 3.91 pp (95% CI) | 条件不完整 | 629 security cases / 97 user tasksPaper's baseline tool-calling agent (§3.2) | 未披露AgentDojo: A Dynamic Environment to Evaluate Prompt Injection Attacks and Defenses for LLM Agents | 发布 —报告 2024-11-24 |
| GPT-4o | 50.08%攻击下任务完成率± 3.91 pp (95% CI) | 条件不完整 | 629 security cases / 97 user tasksPaper's baseline tool-calling agent (§3.2) | 未披露AgentDojo: A Dynamic Environment to Evaluate Prompt Injection Attacks and Defenses for LLM Agents | 发布 —报告 2024-11-24 |
| GPT-3.5 Turbo | 34.66%攻击下任务完成率± 3.72 pp (95% CI) | 条件不完整 | 629 security cases / 97 user tasksPaper's baseline tool-calling agent (§3.2) | 未披露AgentDojo: A Dynamic Environment to Evaluate Prompt Injection Attacks and Defenses for LLM Agents | 发布 —报告 2024-11-24 |
 Gemini 1.5 Flash | 34.18%攻击下任务完成率± 3.71 pp (95% CI) | 条件不完整 | 629 security cases / 97 user tasksPaper's baseline tool-calling agent (§3.2) | 未披露AgentDojo: A Dynamic Environment to Evaluate Prompt Injection Attacks and Defenses for LLM Agents | 发布 —报告 2024-11-24 |
| Claude 3 Sonnet | 33.23%攻击下任务完成率± 3.68 pp (95% CI) | 条件不完整 | 629 security cases / 97 user tasksPaper's baseline tool-calling agent (§3.2) | 未披露AgentDojo: A Dynamic Environment to Evaluate Prompt Injection Attacks and Defenses for LLM Agents | 发布 —报告 2024-11-24 |
| Gemini 1.5 Pro | 28.93%攻击下任务完成率± 3.54 pp (95% CI) | 条件不完整 | 629 security cases / 97 user tasksPaper's baseline tool-calling agent (§3.2) | 未披露AgentDojo: A Dynamic Environment to Evaluate Prompt Injection Attacks and Defenses for LLM Agents | 发布 —报告 2024-11-24 |
 Command-R+ | 25.12%攻击下任务完成率± 3.39 pp (95% CI) | 条件不完整 | 629 security cases / 97 user tasksPaper's baseline tool-calling agent (§3.2) | 未披露AgentDojo: A Dynamic Environment to Evaluate Prompt Injection Attacks and Defenses for LLM Agents | 发布 —报告 2024-11-24 |
 Llama 3 70b | 18.28%攻击下任务完成率± 3.02 pp (95% CI) | 条件不完整 | 629 security cases / 97 user tasksPaper's baseline tool-calling agent (§3.2) | 未披露AgentDojo: A Dynamic Environment to Evaluate Prompt Injection Attacks and Defenses for LLM Agents | 发布 —报告 2024-11-24 |
结合任务范围与运行配置解读结果。
METR Time Horizon 1.1 来源已停止积极更新，最后更新于 2026 年 9 月 8 日。超过 16 小时的估计超出其可靠测量范围。
协议、配置与原始证据 →任务与测量
Benchmark 协议档案
- 任务／对象
- 受到工具输出注入的防御智能体
- 测量目标
- 工具环境中的定向攻击成功率和用户任务完成情况。
- 评分／结果口径
- 正常任务完成率 · 无攻击条件下的用户任务表现。
- 解释边界
- 攻击成功率需结合正常任务表现与攻击设置解释。
一项已报告评测
来源评测 Claude 3 Opus · 629 security cases / 97 user tasks.
运行配置: Paper's baseline tool-calling agent (§3.2).
报告指标: 正常任务完成率 · 66.61%.
无攻击条件下的用户任务表现。 629 项安全测试案例、97 项不同用户任务；不代表 629 次独立重复。
来源报告该基线智能体的三项结果。
测量档案 · NUWA 解读
档案区分来源方法阅读与既有目录信息；已经公开不代表完成独立证据复核或双语编辑复核。
- 测量构念
- 工具智能体处理攻击者控制的外部数据时能否保持任务效用？
- 任务与样本
- 可执行有状态环境含97项用户任务、629个安全案例，配对合法任务与攻击目标。
- 判分与失效情形
- 良性效用、定向攻击成功及无副作用的合法效用分别计。
- 系统条件
- 97用户任务、629安全配对，使用可执行有状态应用。
- 统计含义
- 来源报告的结果表述；这不等同于已确定运行次数、分母或估计方法： 攻击下效用要求完成合法任务且无攻击副作用（§3.4），不只是拒绝注入。
- 效度与解释
- 工具无法预先规划或合法工具已足以攻击时，隔离会失败；持续多任务上下文覆盖有限。
- 适用研究问题
- 模型建议：分别报告良性效用、攻击下效用及目标攻击成功率。
- AgentDojo: A Dynamic Environment to Evaluate Prompt Injection Attacks and Defenses for LLM Agents · AbstractSelected original resource https://arxiv.org/html/2406.13352v3; sha256:7b6e97faaedcf0e1b5f3635b92a0da33afbe8529699d54a5c44ad58ce2fa8b02; archived source capture; exact capture time not independently established
- AgentDojo: A Dynamic Environment to Evaluate Prompt Injection Attacks and Defenses for LLM Agents · §3 Designing and Constructing AgentDojoSelected original resource https://arxiv.org/html/2406.13352v3; sha256:7b6e97faaedcf0e1b5f3635b92a0da33afbe8529699d54a5c44ad58ce2fa8b02; archived source capture; exact capture time not independently established
- AgentDojo: A Dynamic Environment to Evaluate Prompt Injection Attacks and Defenses for LLM Agents · §3.4 Reporting AgentDojo ResultsSelected original resource https://arxiv.org/html/2406.13352v3; sha256:7b6e97faaedcf0e1b5f3635b92a0da33afbe8529699d54a5c44ad58ce2fa8b02; archived source capture; exact capture time not independently established
- AgentDojo: A Dynamic Environment to Evaluate Prompt Injection Attacks and Defenses for LLM Agents · §4.3 Prompt Injection DefensesSelected original resource https://arxiv.org/html/2406.13352v3; sha256:7b6e97faaedcf0e1b5f3635b92a0da33afbe8529699d54a5c44ad58ce2fa8b02; archived source capture; exact capture time not independently established
跨报告证据
相同 Benchmark 名称可能对应不同任务、计分规则和系统配置。各来源分别保留，比较组说明具体对齐了哪些条件。
AgentDojo: A Dynamic Environment to Evaluate Prompt Injection Attacks and Defenses for LLM Agents
AgentDojo: A Dynamic Environment to Evaluate Prompt Injection Attacks and Defenses for LLM Agents
实际评测方: 未披露
10 条结果记录 · 10 个报告系统名称
美国 NIST／CAISI · NIST / CAISI
Evaluation of DeepSeek AI Models →
实际评测方: 美国 NIST／CAISI · 未披露
9 条结果记录 · 3 个报告系统名称
协议与比较依据 (3)
AgentDojo：Hijacking attempted-task frequency · 美国 NIST／CAISIsource-report · 范围已审查
AgentDojo：Hijacking attempted-task frequency · 美国 NIST／CAISIsource-report · 范围已审查
AgentDojo：Hijacking attempted-task frequency · 美国 NIST／CAISIsource-report · 范围已审查
原始来源图表与材料
原文报告结果
原文顺序 · 原文配置
筛选系统
定向攻击成功率
0–100%Claude 3 OpusClaude 3 Opus · 11.29% · ± 2.47 pp (95% CI) · 攻击者目标的完成情况，不是安全总分。 · Paper's baseline tool-calling agent (§3.2) · 629 项安全测试案例、97 项不同用户任务；不代表 629 次独立重复。
11.29%Claude 3 SonnetClaude 3 Sonnet · 26.71% · ± 3.46 pp (95% CI) · 攻击者目标的完成情况，不是安全总分。 · Paper's baseline tool-calling agent (§3.2) · 629 项安全测试案例、97 项不同用户任务；不代表 629 次独立重复。
26.71%Claude 3.5 SonnetClaude 3.5 Sonnet · 33.86% · ± 3.70 pp (95% CI) · 攻击者目标的完成情况，不是安全总分。 · Paper's baseline tool-calling agent (§3.2) · 629 项安全测试案例、97 项不同用户任务；不代表 629 次独立重复。
33.86%Command-R+Command-R+ · 0.95% · ± 0.76 pp (95% CI) · 攻击者目标的完成情况，不是安全总分。 · Paper's baseline tool-calling agent (§3.2) · 629 项安全测试案例、97 项不同用户任务；不代表 629 次独立重复。
0.95%Gemini 1.5 FlashGemini 1.5 Flash · 12.24% · ± 2.56 pp (95% CI) · 攻击者目标的完成情况，不是安全总分。 · Paper's baseline tool-calling agent (§3.2) · 629 项安全测试案例、97 项不同用户任务；不代表 629 次独立重复。
12.24%Gemini 1.5 ProGemini 1.5 Pro · 25.60% · ± 3.41 pp (95% CI) · 攻击者目标的完成情况，不是安全总分。 · Paper's baseline tool-calling agent (§3.2) · 629 项安全测试案例、97 项不同用户任务；不代表 629 次独立重复。
25.60%GPT-3.5 TurboGPT-3.5 Turbo · 8.43% · ± 2.17 pp (95% CI) · 攻击者目标的完成情况，不是安全总分。 · Paper's baseline tool-calling agent (§3.2) · 629 项安全测试案例、97 项不同用户任务；不代表 629 次独立重复。
8.43%GPT-4 TurboGPT-4 Turbo · 28.62% · ± 3.53 pp (95% CI) · 攻击者目标的完成情况，不是安全总分。 · Paper's baseline tool-calling agent (§3.2) · 629 项安全测试案例、97 项不同用户任务；不代表 629 次独立重复。
28.62%GPT-4oGPT-4o · 47.69% · ± 3.90 pp (95% CI) · 攻击者目标的完成情况，不是安全总分。 · Paper's baseline tool-calling agent (§3.2) · 629 项安全测试案例、97 项不同用户任务；不代表 629 次独立重复。
47.69%Llama 3 70bLlama 3 70b · 20.03% · ± 3.13 pp (95% CI) · 攻击者目标的完成情况，不是安全总分。 · Paper's baseline tool-calling agent (§3.2) · 629 项安全测试案例、97 项不同用户任务；不代表 629 次独立重复。
20.03%显示 10 / 10 个系统
数值描述原文协议下的测量结果，不是综合安全评分。
表 3：基线智能体，涵盖 97 项用户任务的 629 个安全案例。误差线采用原文 95% 置信区间；这些案例不等于 629 次独立试验。 未单独注明评测日期；下表保留发表或记录日期。
评测条件与系统配置
- Claude 3 Opus
- 629 项安全测试案例、97 项不同用户任务；不代表 629 次独立重复。 · 629 security cases / 97 user tasks
- modelVersion: 未注明 · harness: Paper's baseline tool-calling agent (§3.2) · tools: Workspace, Slack, banking and travel task suites · budget: 未注明
- Claude 3 Sonnet
- 629 项安全测试案例、97 项不同用户任务；不代表 629 次独立重复。 · 629 security cases / 97 user tasks
- modelVersion: 未注明 · harness: Paper's baseline tool-calling agent (§3.2) · tools: Workspace, Slack, banking and travel task suites · budget: 未注明
- Claude 3.5 Sonnet
- 629 项安全测试案例、97 项不同用户任务；不代表 629 次独立重复。 · 629 security cases / 97 user tasks
- modelVersion: 未注明 · harness: Paper's baseline tool-calling agent (§3.2) · tools: Workspace, Slack, banking and travel task suites · budget: 未注明
- Command-R+
- 629 项安全测试案例、97 项不同用户任务；不代表 629 次独立重复。 · 629 security cases / 97 user tasks
- modelVersion: 未注明 · harness: Paper's baseline tool-calling agent (§3.2) · tools: Workspace, Slack, banking and travel task suites · budget: 未注明
- Gemini 1.5 Flash
- 629 项安全测试案例、97 项不同用户任务；不代表 629 次独立重复。 · 629 security cases / 97 user tasks
- modelVersion: 未注明 · harness: Paper's baseline tool-calling agent (§3.2) · tools: Workspace, Slack, banking and travel task suites · budget: 未注明
- Gemini 1.5 Pro
- 629 项安全测试案例、97 项不同用户任务；不代表 629 次独立重复。 · 629 security cases / 97 user tasks
- modelVersion: 未注明 · harness: Paper's baseline tool-calling agent (§3.2) · tools: Workspace, Slack, banking and travel task suites · budget: 未注明
- GPT-3.5 Turbo
- 629 项安全测试案例、97 项不同用户任务；不代表 629 次独立重复。 · 629 security cases / 97 user tasks
- modelVersion: 未注明 · harness: Paper's baseline tool-calling agent (§3.2) · tools: Workspace, Slack, banking and travel task suites · budget: 未注明
- GPT-4 Turbo
- 629 项安全测试案例、97 项不同用户任务；不代表 629 次独立重复。 · 629 security cases / 97 user tasks
- modelVersion: 未注明 · harness: Paper's baseline tool-calling agent (§3.2) · tools: Workspace, Slack, banking and travel task suites · budget: 未注明
- GPT-4o
- 629 项安全测试案例、97 项不同用户任务；不代表 629 次独立重复。 · 629 security cases / 97 user tasks
- modelVersion: 未注明 · harness: Paper's baseline tool-calling agent (§3.2) · tools: Workspace, Slack, banking and travel task suites · budget: 未注明
- Llama 3 70b
- 629 项安全测试案例、97 项不同用户任务；不代表 629 次独立重复。 · 629 security cases / 97 user tasks
- modelVersion: 未注明 · harness: Paper's baseline tool-calling agent (§3.2) · tools: Workspace, Slack, banking and travel task suites · budget: 未注明
| 系统 / 配置 | 正常任务完成率 | 攻击下任务完成率 | 定向攻击成功率 | 发表 / 核验日期 |
|---|---|---|---|---|
| Claude 3 OpusPaper's baseline tool-calling agent (§3.2) | 66.61%± 3.69 pp (95% CI) | 52.46%± 3.90 pp (95% CI) | 11.29%± 2.47 pp (95% CI) | 发表2024-11-24 |
| Claude 3 SonnetPaper's baseline tool-calling agent (§3.2) | 53.10%± 3.90 pp (95% CI) | 33.23%± 3.68 pp (95% CI) | 26.71%± 3.46 pp (95% CI) | 发表2024-11-24 |
| Claude 3.5 SonnetPaper's baseline tool-calling agent (§3.2) | 78.22%± 3.23 pp (95% CI) | 51.19%± 3.91 pp (95% CI) | 33.86%± 3.70 pp (95% CI) | 发表2024-11-24 |
| Command-R+Paper's baseline tool-calling agent (§3.2) | 25.44%± 3.40 pp (95% CI) | 25.12%± 3.39 pp (95% CI) | 0.95%± 0.76 pp (95% CI) | 发表2024-11-24 |
| Gemini 1.5 FlashPaper's baseline tool-calling agent (§3.2) | 36.09%± 3.75 pp (95% CI) | 34.18%± 3.71 pp (95% CI) | 12.24%± 2.56 pp (95% CI) | 发表2024-11-24 |
| Gemini 1.5 ProPaper's baseline tool-calling agent (§3.2) | 45.63%± 3.89 pp (95% CI) | 28.93%± 3.54 pp (95% CI) | 25.60%± 3.41 pp (95% CI) | 发表2024-11-24 |
| GPT-3.5 TurboPaper's baseline tool-calling agent (§3.2) | 33.86%± 3.70 pp (95% CI) | 34.66%± 3.72 pp (95% CI) | 8.43%± 2.17 pp (95% CI) | 发表2024-11-24 |
| GPT-4 TurboPaper's baseline tool-calling agent (§3.2) | 63.43%± 3.76 pp (95% CI) | 54.05%± 3.89 pp (95% CI) | 28.62%± 3.53 pp (95% CI) | 发表2024-11-24 |
| GPT-4oPaper's baseline tool-calling agent (§3.2) | 69.00%± 3.61 pp (95% CI) | 50.08%± 3.91 pp (95% CI) | 47.69%± 3.90 pp (95% CI) | 发表2024-11-24 |
| Llama 3 70bPaper's baseline tool-calling agent (§3.2) | 34.50%± 3.71 pp (95% CI) | 18.28%± 3.02 pp (95% CI) | 20.03%± 3.13 pp (95% CI) | 发表2024-11-24 |
评估出处
相关研究问题
网络安全 / 非可信输入导致智能体受侵害 →
来源在其协议下直接测量所述构念。
参考文献
- [1] deepseek-r1-0528 release ; News article title, dated heading and availability
- [2] OpenAI — introducing gpt oss ; Publication date and availability section
- [3] gpt-oss-120b developer model card ; Introduction: gpt-oss-120b parameters
- [4] Edoardo Debenedetti, Jie Zhang 等. AgentDojo: A Dynamic Environment to Evaluate Prompt Injection Attacks and Defenses for LLM Agents. 2024-11-24. v3 ; Author affiliations on the original paper title page; Appendix C, Table 3
- [5] Evaluation of DeepSeek AI Models. 2025-09-30. 30 September 2025 ; p. 17, key findings, Credential exfiltration; p. 17, key findings, Phishing email; p. 17, key findings, Download/run malware