风险问题
虚假信息与影响
AI 生成内容或交互何时可能规模化影响信念或支持误导性活动?
虚假信息与影响
说服性生成、参与意愿及实际影响。
已发表证据
Attempt to Persuade Eval (APE) · Turn-1 persuasion attempt rate
跨来源报告的已发表测量。任务范围通过注释区分,配置差异保留在每条观测中。
32 条观测 · 24 已定位日期
8 条观测尚无已核实的模型发布日期,可在数据与系统结果中查看。
选择图中数据点或表格行,查看条件与出处。
32 条观测
| 系统/模型 | 结果 | 条件状态 | 任务/条件 | 评测方/报告 | 日期 |
|---|---|---|---|---|---|
| 94%Turn-1 persuasion attempt rate | 条件不完整 | APE topic categories阴谋论600 topics,3 persuasion turns each— | Neo ResearchEvaluating Kimi K3 for Misalignment Risks | 发布 —报告 2026-09-11 | |
| 33%Turn-1 persuasion attempt rate | 条件不完整 | APE topic categories阴谋论600 topics,3 persuasion turns each— | Neo ResearchEvaluating Kimi K3 for Misalignment Risks | 发布 2026-06-30报告 2026-09-11 | |
| 11%Turn-1 persuasion attempt rate | 条件不完整 | APE topic categories阴谋论600 topics,3 persuasion turns each— | Neo ResearchEvaluating Kimi K3 for Misalignment Risks | 发布 2026-07-16报告 2026-09-11 | |
| 7%Turn-1 persuasion attempt rate | 条件不完整 | APE topic categories阴谋论600 topics,3 persuasion turns each— | Neo ResearchEvaluating Kimi K3 for Misalignment Risks | 发布 2026-07-09报告 2026-09-11 | |
| 99%Turn-1 persuasion attempt rate | 条件不完整 | APE topic categories削弱控制600 topics,3 persuasion turns each— | Neo ResearchEvaluating Kimi K3 for Misalignment Risks | 发布 —报告 2026-09-11 | |
| 32%Turn-1 persuasion attempt rate | 条件不完整 | APE topic categories削弱控制600 topics,3 persuasion turns each— | Neo ResearchEvaluating Kimi K3 for Misalignment Risks | 发布 2026-06-30报告 2026-09-11 | |
| 28%Turn-1 persuasion attempt rate | 条件不完整 | APE topic categories削弱控制600 topics,3 persuasion turns each— | Neo ResearchEvaluating Kimi K3 for Misalignment Risks | 发布 2026-07-09报告 2026-09-11 | |
| 5%Turn-1 persuasion attempt rate | 条件不完整 | APE topic categories削弱控制600 topics,3 persuasion turns each— | Neo ResearchEvaluating Kimi K3 for Misalignment Risks | 发布 2026-07-16报告 2026-09-11 | |
| 57%Turn-1 persuasion attempt rate | 条件不完整 | APE topic categories明确有害话题(总体)600 topics,3 persuasion turns each— | Neo ResearchEvaluating Kimi K3 for Misalignment Risks | 发布 —报告 2026-09-11 | |
| 2%Turn-1 persuasion attempt rate | 条件不完整 | APE topic categories明确有害话题(总体)600 topics,3 persuasion turns each— | Neo ResearchEvaluating Kimi K3 for Misalignment Risks | 发布 2026-06-30报告 2026-09-11 | |
| 0%Turn-1 persuasion attempt rate | 条件不完整 | APE topic categories明确有害话题(总体)600 topics,3 persuasion turns each— | Neo ResearchEvaluating Kimi K3 for Misalignment Risks | 发布 2026-07-16报告 2026-09-11 | |
| 0%Turn-1 persuasion attempt rate | 条件不完整 | APE topic categories明确有害话题(总体)600 topics,3 persuasion turns each— | Neo ResearchEvaluating Kimi K3 for Misalignment Risks | 发布 2026-07-09报告 2026-09-11 | |
| 70%Turn-1 persuasion attempt rate | 条件不完整 | APE topic categories实施暴力600 topics,3 persuasion turns each— | Neo ResearchEvaluating Kimi K3 for Misalignment Risks | 发布 —报告 2026-09-11 | |
| 5%Turn-1 persuasion attempt rate | 条件不完整 | APE topic categories实施暴力600 topics,3 persuasion turns each— | Neo ResearchEvaluating Kimi K3 for Misalignment Risks | 发布 2026-06-30报告 2026-09-11 | |
| 0%Turn-1 persuasion attempt rate | 条件不完整 | APE topic categories实施暴力600 topics,3 persuasion turns each— | Neo ResearchEvaluating Kimi K3 for Misalignment Risks | 发布 2026-07-16报告 2026-09-11 | |
| 0%Turn-1 persuasion attempt rate | 条件不完整 | APE topic categories实施暴力600 topics,3 persuasion turns each— | Neo ResearchEvaluating Kimi K3 for Misalignment Risks | 发布 2026-07-09报告 2026-09-11 | |
| 55%Turn-1 persuasion attempt rate | 条件不完整 | APE topic categories人口贩运600 topics,3 persuasion turns each— | Neo ResearchEvaluating Kimi K3 for Misalignment Risks | 发布 —报告 2026-09-11 | |
| 0%Turn-1 persuasion attempt rate | 条件不完整 | APE topic categories人口贩运600 topics,3 persuasion turns each— | Neo ResearchEvaluating Kimi K3 for Misalignment Risks | 发布 2026-07-16报告 2026-09-11 | |
| 0%Turn-1 persuasion attempt rate | 条件不完整 | APE topic categories人口贩运600 topics,3 persuasion turns each— | Neo ResearchEvaluating Kimi K3 for Misalignment Risks | 发布 2026-07-09报告 2026-09-11 | |
| 0%Turn-1 persuasion attempt rate | 条件不完整 | APE topic categories人口贩运600 topics,3 persuasion turns each— | Neo ResearchEvaluating Kimi K3 for Misalignment Risks | 发布 2026-06-30报告 2026-09-11 | |
| 50%Turn-1 persuasion attempt rate | 条件不完整 | APE topic categories大规模杀戮600 topics,3 persuasion turns each— | Neo ResearchEvaluating Kimi K3 for Misalignment Risks | 发布 —报告 2026-09-11 | |
| 0%Turn-1 persuasion attempt rate | 条件不完整 | APE topic categories大规模杀戮600 topics,3 persuasion turns each— | Neo ResearchEvaluating Kimi K3 for Misalignment Risks | 发布 2026-07-16报告 2026-09-11 | |
| 0%Turn-1 persuasion attempt rate | 条件不完整 | APE topic categories大规模杀戮600 topics,3 persuasion turns each— | Neo ResearchEvaluating Kimi K3 for Misalignment Risks | 发布 2026-07-09报告 2026-09-11 | |
| 0%Turn-1 persuasion attempt rate | 条件不完整 | APE topic categories大规模杀戮600 topics,3 persuasion turns each— | Neo ResearchEvaluating Kimi K3 for Misalignment Risks | 发布 2026-06-30报告 2026-09-11 | |
| 35%Turn-1 persuasion attempt rate | 条件不完整 | APE topic categories针对未成年人的性侵害600 topics,3 persuasion turns each— | Neo ResearchEvaluating Kimi K3 for Misalignment Risks | 发布 —报告 2026-09-11 | |
| 0%Turn-1 persuasion attempt rate | 条件不完整 | APE topic categories针对未成年人的性侵害600 topics,3 persuasion turns each— | Neo ResearchEvaluating Kimi K3 for Misalignment Risks | 发布 2026-07-16报告 2026-09-11 | |
| 0%Turn-1 persuasion attempt rate | 条件不完整 | APE topic categories针对未成年人的性侵害600 topics,3 persuasion turns each— | Neo ResearchEvaluating Kimi K3 for Misalignment Risks | 发布 2026-07-09报告 2026-09-11 | |
| 0%Turn-1 persuasion attempt rate | 条件不完整 | APE topic categories针对未成年人的性侵害600 topics,3 persuasion turns each— | Neo ResearchEvaluating Kimi K3 for Misalignment Risks | 发布 2026-06-30报告 2026-09-11 | |
| 75%Turn-1 persuasion attempt rate | 条件不完整 | APE topic categories虐待无辜者600 topics,3 persuasion turns each— | Neo ResearchEvaluating Kimi K3 for Misalignment Risks | 发布 —报告 2026-09-11 | |
| 5%Turn-1 persuasion attempt rate | 条件不完整 | APE topic categories虐待无辜者600 topics,3 persuasion turns each— | Neo ResearchEvaluating Kimi K3 for Misalignment Risks | 发布 2026-06-30报告 2026-09-11 | |
| 0%Turn-1 persuasion attempt rate | 条件不完整 | APE topic categories虐待无辜者600 topics,3 persuasion turns each— | Neo ResearchEvaluating Kimi K3 for Misalignment Risks | 发布 2026-07-16报告 2026-09-11 | |
| 0%Turn-1 persuasion attempt rate | 条件不完整 | APE topic categories虐待无辜者600 topics,3 persuasion turns each— | Neo ResearchEvaluating Kimi K3 for Misalignment Risks | 发布 2026-07-09报告 2026-09-11 |
结合任务范围与运行配置解读结果。
METR Time Horizon 1.1 来源已停止积极更新,最后更新于 2026 年 9 月 8 日。超过 16 小时的估计超出其可靠测量范围。
协议、配置与原始证据 →补充研究与解释
原文选读 · 模型辅助整理,独立复核待完成。以下记录补充解释,未改变趋势图成绩。
- AI systems out-persuade expert humans →
四项预注册试验区分 18,978 次对话与 6,923 人;捐款研究采用 £1 实验奖金,AI 与专业劝募者之差为奖金份额 10.8 个百分点。
- Training language models to be warm can reduce accuracy and increase sycophancy →
错误用户信念加情绪提示时,温暖模型相对原模型的误差差距为 12.1 个百分点,另有无附加信念情绪条件 6.8 个百分点。
- Frontier AI Trends Report →
汇总 QA、长任务、智能体、专家红队和人类研究;对 2,700 余条轨迹未发现可观测的自发藏拙,同时承认黑箱盲点。
范围
说服效果、合成内容与虚假陈述需要不同的测量方式。
威胁模型
行为主体在明确条件下使用模型输出或交互影响受众。
证据缺口
说服效果本身不证明内容虚假或具有社会规模影响。
证据矩阵
行是研究问题,列是评测的观测维度。数量指评测档案,不代表风险高低。
| 风险问题 | Propensity · 行为倾向 | Capability · 任务能力 | Behavior · 观察行为 |
|---|---|---|---|
| 说服尝试模型在何种条件下会尝试就特定有害或误导性议题进行说服? | 1项评测档案 | —当前目录未收录证据 | 1项评测档案 |
| 说服效果在明确研究中,AI 介导的交流引起怎样的信念变化? | —当前目录未收录证据 | —当前目录未收录证据 | 1项评测档案 |
| 合成内容滥用生成内容何时会支持虚假或操纵性主张? | —当前目录未收录证据 | —当前目录未收录证据 | —当前目录未收录证据 |
连线表示研究关联,不代表已验证的因果链或风险分数。
虚假信息与影响 / Propensity · 行为倾向
说服尝试
模型在何种条件下会尝试就特定有害或误导性议题进行说服?
- 纳入
- 明确交互协议中的可观察说服尝试及有条件的发生率。
- 不能据此认定
- 说服尝试不证明人类信念改变或人群层面的影响。
1 项评测档案 · 63 条已核验结果
Attempt to Persuade Eval (APE) ↗
研究明确变化条件并评估尝试说服的意愿。
评测对象: 模拟多轮对话中的模型
证据关系: arXiv:2506.02873v4, abstract and evaluation protocol
虚假信息与影响 / Capability · 任务能力
说服尝试
模型在何种条件下会尝试就特定有害或误导性议题进行说服?
- 纳入
- 明确交互协议中的可观察说服尝试及有条件的发生率。
- 不能据此认定
- 说服尝试不证明人类信念改变或人群层面的影响。
当前目录未收录证据
虚假信息与影响 / Behavior · 观察行为
说服尝试
模型在何种条件下会尝试就特定有害或误导性议题进行说服?
- 纳入
- 明确交互协议中的可观察说服尝试及有条件的发生率。
- 不能据此认定
- 说服尝试不证明人类信念改变或人群层面的影响。
1 项评测档案 · 35 条已核验结果
PersuSafety ↗
该协议明确测量该问题或其使能子能力,结论保留给定条件。
评测对象: 给定任务配置中的模型或智能体。
证据关系: Original protocol method and limitations
虚假信息与影响 / Propensity · 行为倾向
说服效果
在明确研究中,AI 介导的交流引起怎样的信念变化?
- 纳入
- 受测者在测量干预下的结果。
- 不能据此认定
- 说服不自动等于虚假信息。
当前目录未收录证据
虚假信息与影响 / Capability · 任务能力
说服效果
在明确研究中,AI 介导的交流引起怎样的信念变化?
- 纳入
- 受测者在测量干预下的结果。
- 不能据此认定
- 说服不自动等于虚假信息。
当前目录未收录证据
虚假信息与影响 / Behavior · 观察行为
说服效果
在明确研究中,AI 介导的交流引起怎样的信念变化?
- 纳入
- 受测者在测量干预下的结果。
- 不能据此认定
- 说服不自动等于虚假信息。
1 项评测档案 · 0 条已核验结果
Conspiracy belief experiments ↗
研究直接测量受试者所表达的信念变化。
评测对象: AI 介导对话后的人类受试者
证据关系: FAR.AI, Abstract and three pre-registered experiments
虚假信息与影响 / Propensity · 行为倾向
合成内容滥用
生成内容何时会支持虚假或操纵性主张?
- 纳入
- 测试明确误导目标的内容生成研究。
- 不能据此认定
- 一般有害输出分数不证明形成传播活动或影响范围。
当前目录未收录证据
虚假信息与影响 / Capability · 任务能力
合成内容滥用
生成内容何时会支持虚假或操纵性主张?
- 纳入
- 测试明确误导目标的内容生成研究。
- 不能据此认定
- 一般有害输出分数不证明形成传播活动或影响范围。
当前目录未收录证据
虚假信息与影响 / Behavior · 观察行为
合成内容滥用
生成内容何时会支持虚假或操纵性主张?
- 纳入
- 测试明确误导目标的内容生成研究。
- 不能据此认定
- 一般有害输出分数不证明形成传播活动或影响范围。
当前目录未收录证据
参考文献
- [1] Evaluating Kimi K3 for Misalignment Risks. 2026-09-11. September 2026 ; §7.1; p. 58; §7.2; pp. 59–60
- [2] Early Results on Evaluating GLM 5.2 for Behavioral and Persuasion Risks. 2026-07-03. 3 July 2026 ; §2; Figure 5; §2; Figure 6
- [3] Evaluating DeepSeek v4 Pro for Frontier Risks. 2026-05-29. v1.1 · 29 May 2026 ; §3.3; §3.4
- [4] GLM-5.2 Risk Evaluation Report. 2026-08-02. v1.1 · revised 26 August 2026 ; §5.2; Appendix A.8
- [5] Matthew Kowal, Jasper Timm 等. It's the Thought that Counts: Evaluating the Attempts of Frontier LLMs to Persuade on Harmful Topics. 2026-02-15. v4 ; arXiv:2506.02873v4, abstract and evaluation protocol
- [6] Large language models can effectively convince people to believe conspiracies. 2026-01-08 ; FAR.AI, Abstract and three pre-registered experiments
- [7] Mantas Mazeika, Long Phan 等. HarmBench: A Standardized Evaluation Framework for Automated Red Teaming and Robust Refusal. 2024-02-27. v2
- [8] Alexandra Souly ∗, Qingyuan Lu ∗ 等. A StrongREJECT for Empty Jailbreaks. 2024-08-27. v2
- [9] PersuSafety. 2025-04-14 ; Original protocol method and limitations