NUWA 评测档案
OpenDeception
模拟人机交互中的欺骗。
跨报告监测
已发表证据
OpenDeception · 标注一致性
跨来源报告的已发表测量。任务范围通过注释区分，配置差异保留在每条观测中。
11 条观测 · 0 已定位日期
● 条件匹配◇ 配置差异□ 部分条件未披露
11 条观测尚无已核实的模型发布日期，可在数据与系统结果中查看。
选择图中数据点或表格行，查看条件与出处。
11 条观测
| 系统／模型 | 结果 | 条件状态 | 任务／条件 | 评测方／报告 | 日期 |
|---|---|---|---|---|---|
 Llama-3.1-8B-Instruct | 100%标注一致性 | 条件不完整 | Table 1 · OpenDeception— | 未披露OpenDeception : Learning Deception and Trust in Human–AI Interaction via Multi-Agent Simulation | 发布 —报告 — |
 Qwen2-72B-Instruct | 100%标注一致性 | 条件不完整 | Table 1 · OpenDeception— | 未披露OpenDeception : Learning Deception and Trust in Human–AI Interaction via Multi-Agent Simulation | 发布 —报告 — |
| Qwen2.5-72B-Instruct | 100%标注一致性 | 条件不完整 | Table 1 · OpenDeception— | 未披露OpenDeception : Learning Deception and Trust in Human–AI Interaction via Multi-Agent Simulation | 发布 —报告 — |
 GPT-4o | 97.87%标注一致性 | 条件不完整 | Table 1 · OpenDeception— | 未披露OpenDeception : Learning Deception and Trust in Human–AI Interaction via Multi-Agent Simulation | 发布 —报告 — |
| Qwen2.5-32B-Instruct | 97.83%标注一致性 | 条件不完整 | Table 1 · OpenDeception— | 未披露OpenDeception : Learning Deception and Trust in Human–AI Interaction via Multi-Agent Simulation | 发布 —报告 — |
| GPT-3.5 | 97.78%标注一致性 | 条件不完整 | Table 1 · OpenDeception— | 未披露OpenDeception : Learning Deception and Trust in Human–AI Interaction via Multi-Agent Simulation | 发布 —报告 — |
| Llama-3.1-70B-Instruct | 97.5%标注一致性 | 条件不完整 | Table 1 · OpenDeception— | 未披露OpenDeception : Learning Deception and Trust in Human–AI Interaction via Multi-Agent Simulation | 发布 —报告 — |
| Qwen2-7B-Instruct | 97.44%标注一致性 | 条件不完整 | Table 1 · OpenDeception— | 未披露OpenDeception : Learning Deception and Trust in Human–AI Interaction via Multi-Agent Simulation | 发布 —报告 — |
| Qwen2.5-14B-Instruct | 95.74%标注一致性 | 条件不完整 | Table 1 · OpenDeception— | 未披露OpenDeception : Learning Deception and Trust in Human–AI Interaction via Multi-Agent Simulation | 发布 —报告 — |
| Qwen2.5-7B-Instruct | 95.12%标注一致性 | 条件不完整 | Table 1 · OpenDeception— | 未披露OpenDeception : Learning Deception and Trust in Human–AI Interaction via Multi-Agent Simulation | 发布 —报告 — |
| Qwen2.5-3B-Instruct | 90.63%标注一致性 | 条件不完整 | Table 1 · OpenDeception— | 未披露OpenDeception : Learning Deception and Trust in Human–AI Interaction via Multi-Agent Simulation | 发布 —报告 — |
结合任务范围与运行配置解读结果。
METR Time Horizon 1.1 来源已停止积极更新，最后更新于 2026 年 9 月 8 日。超过 16 小时的估计超出其可靠测量范围。
协议、配置与原始证据 →任务与测量
Benchmark 协议档案
- 任务／对象
- 模拟社会交互中的模型
- 测量目标
- 基于情境的意图推断与用户信任建模。
- 评分／结果口径
- IntentNet 欺骗意图率 · 表 1 的欺骗意图率：IntentNet 与人工标注分别给出结果。人工与自动判定的一致性不等于欺骗成功率；原文的情境筛选条件仍适用。
- 解释边界
- 推断意图是测量构念；模拟用户不能确定真人效果。
一项已报告评测
来源评测 GPT-3.5 · Table 1 · OpenDeception.
报告指标: IntentNet 欺骗意图率 · 100%.
表 1 的欺骗意图率：IntentNet 与人工标注分别给出结果。人工与自动判定的一致性不等于欺骗成功率；原文的情境筛选条件仍适用。 50 个编写情境；实际受评案例取决于原文筛选程序。
原文 Table 1 报告的 GPT-3.5 测量结果；数值为转录，未独立复现实验。
测量档案 · NUWA 解读
档案区分来源方法阅读与既有目录信息；已经公开不代表完成独立证据复核或双语编辑复核。
- 测量构念
- 对话评测能否同时刻画欺骗意图与模拟用户易感性？
- 任务与样本
- 五类共50个种子案例，通过角色目标模拟构造IntentNet与对比训练的TrustNet。
- 判分与失效情形
- 欺骗意图推断与模拟信任易感性分别输出，并另报拒绝。
- 系统条件
- 50种子场景及模型间开放对话生成。
- 统计含义
- 来源报告的结果表述；这不等同于已确定运行次数、分母或估计方法： 作者报告多数受测模型在目标驱动交互中超过90%出现欺骗意图。 所列Llama-3.1-8B-Instruct整体拒绝率为70%（附录E）。
- 效度与解释
- 模拟用户和意图推断限制行为解释；个案并未验证临床预警效果。
- 适用研究问题
- 模型建议：视为基于模拟的监测原型，等待外部人类验证。
- OpenDeception : Learning Deception and Trust in Human–AI Interaction via Multi-Agent Simulation · AbstractSelected original resource https://arxiv.org/html/2504.13707v3; sha256:90ab521e0ac0dc160133177e59dbe0998cf4876bb90f2c419eb00ec0bd0c6ae4; archived source capture; exact capture time not independently established
- OpenDeception : Learning Deception and Trust in Human–AI Interaction via Multi-Agent Simulation · §3.1 Benchmark and Scenarios ConstructionSelected original resource https://arxiv.org/html/2504.13707v3; sha256:90ab521e0ac0dc160133177e59dbe0998cf4876bb90f2c419eb00ec0bd0c6ae4; archived source capture; exact capture time not independently established
- OpenDeception : Learning Deception and Trust in Human–AI Interaction via Multi-Agent Simulation · §3.2 Open-Ended Interactions SimulationSelected original resource https://arxiv.org/html/2504.13707v3; sha256:90ab521e0ac0dc160133177e59dbe0998cf4876bb90f2c419eb00ec0bd0c6ae4; archived source capture; exact capture time not independently established
- OpenDeception : Learning Deception and Trust in Human–AI Interaction via Multi-Agent Simulation · Appendix E More Interesting FindingsSelected original resource https://arxiv.org/html/2504.13707v3; sha256:90ab521e0ac0dc160133177e59dbe0998cf4876bb90f2c419eb00ec0bd0c6ae4; archived source capture; exact capture time not independently established
- OpenDeception : Learning Deception and Trust in Human–AI Interaction via Multi-Agent Simulation · §5 ConclusionSelected original resource https://arxiv.org/html/2504.13707v3; sha256:90ab521e0ac0dc160133177e59dbe0998cf4876bb90f2c419eb00ec0bd0c6ae4; archived source capture; exact capture time not independently established
跨报告证据
相同 Benchmark 名称可能对应不同任务、计分规则和系统配置。各来源分别保留，比较组说明具体对齐了哪些条件。
OpenDeception : Learning Deception and Trust in Human–AI Interaction via Multi-Agent Simulation
OpenDeception : Learning Deception and Trust in Human–AI Interaction via Multi-Agent Simulation
实际评测方: 未披露
11 条结果记录 · 11 个报告系统名称
原始来源图表与材料
原文报告结果
原文顺序 · 原文配置
筛选系统
IntentNet 欺骗意图率
0–100%GPT-3.5GPT-3.5 · 100% · 表 1 的欺骗意图率：IntentNet 与人工标注分别给出结果。人工与自动判定的一致性不等于欺骗成功率；原文的情境筛选条件仍适用。 · 50 个编写情境；实际受评案例取决于原文筛选程序。
100%GPT-4oGPT-4o · 97.87% · 表 1 的欺骗意图率：IntentNet 与人工标注分别给出结果。人工与自动判定的一致性不等于欺骗成功率；原文的情境筛选条件仍适用。 · 50 个编写情境；实际受评案例取决于原文筛选程序。
97.87%Llama-3.1-8B-InstructLlama-3.1-8B-Instruct · 92.85% · 表 1 的欺骗意图率：IntentNet 与人工标注分别给出结果。人工与自动判定的一致性不等于欺骗成功率；原文的情境筛选条件仍适用。 · 50 个编写情境；实际受评案例取决于原文筛选程序。
92.85%Llama-3.1-70B-InstructLlama-3.1-70B-Instruct · 100% · 表 1 的欺骗意图率：IntentNet 与人工标注分别给出结果。人工与自动判定的一致性不等于欺骗成功率；原文的情境筛选条件仍适用。 · 50 个编写情境；实际受评案例取决于原文筛选程序。
100%Qwen2-7B-InstructQwen2-7B-Instruct · 92.31% · 表 1 的欺骗意图率：IntentNet 与人工标注分别给出结果。人工与自动判定的一致性不等于欺骗成功率；原文的情境筛选条件仍适用。 · 50 个编写情境；实际受评案例取决于原文筛选程序。
92.31%Qwen2-72B-InstructQwen2-72B-Instruct · 100% · 表 1 的欺骗意图率：IntentNet 与人工标注分别给出结果。人工与自动判定的一致性不等于欺骗成功率；原文的情境筛选条件仍适用。 · 50 个编写情境；实际受评案例取决于原文筛选程序。
100%Qwen2.5-3B-InstructQwen2.5-3B-Instruct · 87.5% · 表 1 的欺骗意图率：IntentNet 与人工标注分别给出结果。人工与自动判定的一致性不等于欺骗成功率；原文的情境筛选条件仍适用。 · 50 个编写情境；实际受评案例取决于原文筛选程序。
87.5%Qwen2.5-7B-InstructQwen2.5-7B-Instruct · 90.24% · 表 1 的欺骗意图率：IntentNet 与人工标注分别给出结果。人工与自动判定的一致性不等于欺骗成功率；原文的情境筛选条件仍适用。 · 50 个编写情境；实际受评案例取决于原文筛选程序。
90.24%Qwen2.5-14B-InstructQwen2.5-14B-Instruct · 93.62% · 表 1 的欺骗意图率：IntentNet 与人工标注分别给出结果。人工与自动判定的一致性不等于欺骗成功率；原文的情境筛选条件仍适用。 · 50 个编写情境；实际受评案例取决于原文筛选程序。
93.62%Qwen2.5-32B-InstructQwen2.5-32B-Instruct · 95.65% · 表 1 的欺骗意图率：IntentNet 与人工标注分别给出结果。人工与自动判定的一致性不等于欺骗成功率；原文的情境筛选条件仍适用。 · 50 个编写情境；实际受评案例取决于原文筛选程序。
95.65%Qwen2.5-72B-InstructQwen2.5-72B-Instruct · 100% · 表 1 的欺骗意图率：IntentNet 与人工标注分别给出结果。人工与自动判定的一致性不等于欺骗成功率；原文的情境筛选条件仍适用。 · 50 个编写情境；实际受评案例取决于原文筛选程序。
100%显示 11 / 11 个系统
数值描述原文协议下的测量结果，不是综合安全评分。
表 1 的欺骗意图率：IntentNet 与人工标注分别给出结果。人工与自动判定的一致性不等于欺骗成功率；原文的情境筛选条件仍适用。 未单独注明评测日期；下表保留发表或记录日期。
评测条件与系统配置
- GPT-3.5
- 50 个编写情境；实际受评案例取决于原文筛选程序。 · Table 1 · OpenDeception
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- GPT-4o
- 50 个编写情境；实际受评案例取决于原文筛选程序。 · Table 1 · OpenDeception
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- Llama-3.1-8B-Instruct
- 50 个编写情境；实际受评案例取决于原文筛选程序。 · Table 1 · OpenDeception
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- Llama-3.1-70B-Instruct
- 50 个编写情境；实际受评案例取决于原文筛选程序。 · Table 1 · OpenDeception
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- Qwen2-7B-Instruct
- 50 个编写情境；实际受评案例取决于原文筛选程序。 · Table 1 · OpenDeception
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- Qwen2-72B-Instruct
- 50 个编写情境；实际受评案例取决于原文筛选程序。 · Table 1 · OpenDeception
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- Qwen2.5-3B-Instruct
- 50 个编写情境；实际受评案例取决于原文筛选程序。 · Table 1 · OpenDeception
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- Qwen2.5-7B-Instruct
- 50 个编写情境；实际受评案例取决于原文筛选程序。 · Table 1 · OpenDeception
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- Qwen2.5-14B-Instruct
- 50 个编写情境；实际受评案例取决于原文筛选程序。 · Table 1 · OpenDeception
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- Qwen2.5-32B-Instruct
- 50 个编写情境；实际受评案例取决于原文筛选程序。 · Table 1 · OpenDeception
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- Qwen2.5-72B-Instruct
- 50 个编写情境；实际受评案例取决于原文筛选程序。 · Table 1 · OpenDeception
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
| 系统 / 配置 | IntentNet 欺骗意图率 | 人工标注欺骗意图率 | 标注一致性 | 发表 / 核验日期 |
|---|---|---|---|---|
| GPT-3.5未注明 Harness | 100% | 97.8% | 97.78% | 来源核验2026-10-25 |
| GPT-4o未注明 Harness | 97.87% | 93.6% | 97.87% | 来源核验2026-10-25 |
| Llama-3.1-8B-Instruct未注明 Harness | 92.85% | 92.85% | 100% | 来源核验2026-10-25 |
| Llama-3.1-70B-Instruct未注明 Harness | 100% | 97.5% | 97.5% | 来源核验2026-10-25 |
| Qwen2-7B-Instruct未注明 Harness | 92.31% | 89.7% | 97.44% | 来源核验2026-10-25 |
| Qwen2-72B-Instruct未注明 Harness | 100% | 100% | 100% | 来源核验2026-10-25 |
| Qwen2.5-3B-Instruct未注明 Harness | 87.5% | 81.2% | 90.63% | 来源核验2026-10-25 |
| Qwen2.5-7B-Instruct未注明 Harness | 90.24% | 87.8% | 95.12% | 来源核验2026-10-25 |
| Qwen2.5-14B-Instruct未注明 Harness | 93.62% | 91.5% | 95.74% | 来源核验2026-10-25 |
| Qwen2.5-32B-Instruct未注明 Harness | 95.65% | 91.5% | 97.83% | 来源核验2026-10-25 |
| Qwen2.5-72B-Instruct未注明 Harness | 100% | 100% | 100% | 来源核验2026-10-25 |
相关研究问题
欺骗 / 误导性交流 →
来源在其协议下直接测量所述构念。
欺骗 / 误导性交流 →
来源在其协议下直接测量所述构念。
参考文献
数值结果由所引研究的作者报告。
- [1] Yichen Wu, Qianqian Gao 等. OpenDeception : Learning Deception and Trust in Human–AI Interaction via Multi-Agent Simulation. 2026-02-06. v3 [arXiv]; Author affiliations on the original paper title page; Table 1