证据记录

GPT-3.5 Turbo

AgentDojo · 证据记录

苏黎世联邦理工学院 · Invariant Labs / arXiv:2406.13352v3 / Behavior · 观察行为

原始来源图表与材料

原文报告结果

原文顺序 · 原文配置

0–100%

GPT-3.5 Turbo

GPT-3.5 Turbo · 8.43% · ± 2.17 pp (95% CI) · 攻击者目标的完成情况，不是安全总分。 · Paper's baseline tool-calling agent (§3.2) · 629 项安全测试案例、97 项不同用户任务；不代表 629 次独立重复。

8.43%

显示 1 / 1 个系统

数值描述原文协议下的测量结果，不是综合安全评分。

表 3：基线智能体，涵盖 97 项用户任务的 629 个安全案例。误差线采用原文 95% 置信区间；这些案例不等于 629 次独立试验。未单独注明评测日期；下表保留发表或记录日期。

评测条件与系统配置

GPT-3.5 Turbo: 629 项安全测试案例、97 项不同用户任务；不代表 629 次独立重复。 · 629 security cases / 97 user tasks; modelVersion: 未注明 · harness: Paper's baseline tool-calling agent (§3.2) · tools: Workspace, Slack, banking and travel task suites · budget: 未注明

原文报告结果 · 原文顺序
系统 / 配置	正常任务完成率	攻击下任务完成率	定向攻击成功率	发表 / 核验日期
GPT-3.5 TurboPaper's baseline tool-calling agent (§3.2)	33.86%± 3.70 pp (95% CI)	34.66%± 3.72 pp (95% CI)	8.43%± 2.17 pp (95% CI)	发表2024-11-24

工具环境中的定向攻击成功率和用户任务完成情况。

主维度依据来源实际测量的构念；具体指标可能属于其他维度。

来源报告该基线智能体的三项结果。

攻击结果应结合任务表现解读；仅凭模型名称不足以完整复现系统。

攻击成功率需结合正常任务表现与攻击设置解释。

历史论文结果。本目录未统一不可变模型版本与资源预算，因此不启用自动排名。

数值结果由所引研究的作者报告。

[1] Edoardo Debenedetti, Jie Zhang 等. AgentDojo: A Dynamic Environment to Evaluate Prompt Injection Attacks and Defenses for LLM Agents. 2024-11-24. v3 ; Author affiliations on the original paper title page; Appendix C, Table 3