白泽（Whitzard）女娲实验室 ↗
NUWANUWA INDEX

搜索 NUWA Index

研究 · 测量协议 · 评测结果 · 观点

English
← NUWA Index

评测档案

Tensor Trust

指令遵循模型对人工编写的提示提取和劫持有多强的抵抗力？

本轮尚未登记机构署名 / 来源捕获 · fb1e829e9a / Behavior · 观察行为

来源与出处 ↓ 阅读研究记录 →

跨报告监测

已发表证据

Tensor Trust · Defense validity

跨来源报告的已发表测量。任务范围通过注释区分，配置差异保留在每条观测中。

18 条观测 · 0 已定位日期

● 条件匹配◇ 配置差异□ 部分条件未披露
Defense validity (%) gpt-3.5-turbo-0613 [2] chat-bison@001 [2] gpt-4-0613 [2] chat-bison@001 [1] gpt-3.5-turbo-0613 [1] claude-instant-1.2 [2] gpt-4-0613 [1] claude-instant-1.2 [1] CodeLlama-34b-Instruct-hf [2] CodeLlama-34b-Instruct-hf [1] claude-2.0 [2] claude-2.0 [1] 0 20 40 60 80 100 91.1% 89.5% 89.5% 89.3% 89.2% 81.8% 81.7% 77.6% 69.6% 63.7% 53.5% 52.7%
  1. Prompt hijacking benchmark / Hijacking
  2. Prompt extraction benchmark / Extraction

18 条观测尚无已核实的模型发布日期，可在数据与系统结果中查看。

选择图中数据点或表格行，查看条件与出处。

18 条观测

测量值与来源条件
系统／模型结果条件状态任务／条件评测方／报告日期
gpt-3.5-turbo-061391.1%Defense validity条件不完整Prompt extraction benchmark / Extraction—未披露Tensor Trust: Interpretable Prompt Injection Attacks from an Online Game发布 —报告 2023-11-02
chat-bison@00189.5%Defense validity条件不完整Prompt extraction benchmark / Extraction—未披露Tensor Trust: Interpretable Prompt Injection Attacks from an Online Game发布 —报告 2023-11-02
gpt-4-061389.5%Defense validity条件不完整Prompt extraction benchmark / Extraction—未披露Tensor Trust: Interpretable Prompt Injection Attacks from an Online Game发布 —报告 2023-11-02
chat-bison@00189.3%Defense validity条件不完整Prompt hijacking benchmark / Hijacking—未披露Tensor Trust: Interpretable Prompt Injection Attacks from an Online Game发布 —报告 2023-11-02
gpt-3.5-turbo-061389.2%Defense validity条件不完整Prompt hijacking benchmark / Hijacking—未披露Tensor Trust: Interpretable Prompt Injection Attacks from an Online Game发布 —报告 2023-11-02
claude-instant-1.281.8%Defense validity条件不完整Prompt extraction benchmark / Extraction—未披露Tensor Trust: Interpretable Prompt Injection Attacks from an Online Game发布 —报告 2023-11-02
gpt-4-061381.7%Defense validity条件不完整Prompt hijacking benchmark / Hijacking—未披露Tensor Trust: Interpretable Prompt Injection Attacks from an Online Game发布 —报告 2023-11-02
claude-instant-1.277.6%Defense validity条件不完整Prompt hijacking benchmark / Hijacking—未披露Tensor Trust: Interpretable Prompt Injection Attacks from an Online Game发布 —报告 2023-11-02
CodeLlama-34b-Instruct-hf69.6%Defense validity条件不完整Prompt extraction benchmark / Extraction—未披露Tensor Trust: Interpretable Prompt Injection Attacks from an Online Game发布 —报告 2023-11-02
CodeLlama-34b-Instruct-hf63.7%Defense validity条件不完整Prompt hijacking benchmark / Hijacking—未披露Tensor Trust: Interpretable Prompt Injection Attacks from an Online Game发布 —报告 2023-11-02
claude-2.053.5%Defense validity条件不完整Prompt extraction benchmark / Extraction—未披露Tensor Trust: Interpretable Prompt Injection Attacks from an Online Game发布 —报告 2023-11-02
claude-2.052.7%Defense validity条件不完整Prompt hijacking benchmark / Hijacking—未披露Tensor Trust: Interpretable Prompt Injection Attacks from an Online Game发布 —报告 2023-11-02
Llama-2-70b-chat-hf51.6%Defense validity条件不完整Prompt extraction benchmark / Extraction—未披露Tensor Trust: Interpretable Prompt Injection Attacks from an Online Game发布 —报告 2023-11-02
Llama-2-70b-chat-hf45.4%Defense validity条件不完整Prompt hijacking benchmark / Hijacking—未披露Tensor Trust: Interpretable Prompt Injection Attacks from an Online Game发布 —报告 2023-11-02
Llama-2-13b-chat-hf27.2%Defense validity条件不完整Prompt hijacking benchmark / Hijacking—未披露Tensor Trust: Interpretable Prompt Injection Attacks from an Online Game发布 —报告 2023-11-02
Llama-2-13b-chat-hf25.6%Defense validity条件不完整Prompt extraction benchmark / Extraction—未披露Tensor Trust: Interpretable Prompt Injection Attacks from an Online Game发布 —报告 2023-11-02
Llama-2-7b-chat-hf19.1%Defense validity条件不完整Prompt hijacking benchmark / Hijacking—未披露Tensor Trust: Interpretable Prompt Injection Attacks from an Online Game发布 —报告 2023-11-02
Llama-2-7b-chat-hf17.4%Defense validity条件不完整Prompt extraction benchmark / Extraction—未披露Tensor Trust: Interpretable Prompt Injection Attacks from an Online Game发布 —报告 2023-11-02

实际评测方: 未披露
报告发布方: Tensor Trust: Interpretable Prompt Injection Attacks from an Online Game

任务与测量

Benchmark 协议档案

任务／对象
在线游戏提供人工攻防交互，经筛选后形成独立的提取与劫持评测，并显式核验防御是否正常工作。
测量目标
指令遵循模型对人工编写的提示提取和劫持有多强的抵抗力？
评分／结果口径
Hijacking robustness rate · Hijacking robustness rate
解释边界
对抗筛选和参考模型选择塑造了测试样本；游戏成功基于狭窄字符串判定，不等同于真实应用被攻破。

一项已报告评测

来源评测 gpt-3.5-turbo-0613 · Prompt hijacking benchmark / Hijacking.

报告指标: Hijacking robustness rate · 18.4%.

Hijacking robustness rate 见原文样本说明

研究发现简单授权指令仍可能被绕过，并报告部分游戏外迁移演示。

测量档案 · NUWA 解读

档案区分来源方法阅读与既有目录信息；已经公开不代表完成独立证据复核或双语编辑复核。

测量构念
提示劫持／提取鲁棒性及防御有效性。
任务与样本
众包访问口令游戏产生攻击与防御，使用筛选出的攻击评测模型鲁棒性。
判分与失效情形
HRR 是劫持攻击失败比例，ERR 是未泄露精确口令的提取攻击比例，防御有效性衡量提供真口令时是否正确授权。
系统条件
Table A1/A2 的前三个参考模型参与攻击和防御筛选，具体模型快照按原文保留。
统计含义
现有材料尚未确定
效度与解释
鲁棒性越高越好。参考模型参与筛选，解读时需将防御有效性与鲁棒性一并考虑。
适用研究问题
现有材料尚未确定

跨报告证据

相同 Benchmark 名称可能对应不同任务、计分规则和系统配置。各来源分别保留，比较组说明具体对齐了哪些条件。

Tensor Trust: Interpretable Prompt Injection Attacks from an Online Game

Tensor Trust: Interpretable Prompt Injection Attacks from an Online Game

实际评测方: 未披露

42 条结果记录 · 9 个报告系统名称

协议与比较依据 (0)
原始来源图表与材料

阅读原始协议 ↗

对抗筛选和参考模型选择塑造了测试样本；游戏成功基于狭窄字符串判定，不等同于真实应用被攻破。

相关研究问题

参考文献

数值结果由所引研究的作者报告。

  1. [1] Tensor Trust: Interpretable Prompt Injection Attacks from an Online Game. 2023-11-02 ; #A3.T1; row gpt-3.5-turbo-0613; column Hijacking robustness rate; condition Hijacking; #A3.T1; row gpt-3.5-turbo-0613; column Defense validity; condition Hijacking