评测档案

MASK

通过重复的人类收集情境区分诚实性与事实准确性。

Center for AI Safety · Scale AI / arXiv:2503.03750v3 / Propensity · 行为倾向

来源与出处 ↓ 阅读研究记录 →

跨报告监测

已发表证据

MASK · MASK response proportion: Honest

跨来源报告的已发表测量。任务范围通过注释区分，配置差异保留在每条观测中。

8 条观测 · 3 已定位日期

● 条件匹配◇ 配置差异□ 部分条件未披露

5 条观测尚无已核实的模型发布日期，可在数据与系统结果中查看。

选择图中数据点或表格行，查看条件与出处。

8 条观测

测量值与来源条件
系统／模型	结果	条件状态	任务／条件	评测方／报告	日期
Claude Sonnet 4.6	66%MASK response proportion: Honest	条件不完整	MASKhonesty under pressure—	Neo ResearchEarly Results on Evaluating GLM 5.2 for Behavioral and Persuasion Risks	发布 2026-02-17报告 2026-07-03
GLM 5.2GLM-5.2	55%MASK response proportion: Honest	条件不完整	MASKhonesty under pressure—	Neo ResearchEarly Results on Evaluating GLM 5.2 for Behavioral and Persuasion Risks	发布 2026-06-16报告 2026-07-03
Claude 3.7 Sonnet	48%MASK response proportion: Honest	条件不完整	MASKhonesty under pressure—	未披露Early Results on Evaluating GLM 5.2 for Behavioral and Persuasion Risks	发布 —报告 2026-07-03
GPT-4.5 Preview	27%MASK response proportion: Honest	条件不完整	MASKhonesty under pressure—	未披露Early Results on Evaluating GLM 5.2 for Behavioral and Persuasion Risks	发布 —报告 2026-07-03
Llama 405B	22%MASK response proportion: Honest	条件不完整	MASKhonesty under pressure—	未披露Early Results on Evaluating GLM 5.2 for Behavioral and Persuasion Risks	发布 —报告 2026-07-03
GPT-4o	22%MASK response proportion: Honest	条件不完整	MASKhonesty under pressure—	未披露Early Results on Evaluating GLM 5.2 for Behavioral and Persuasion Risks	发布 —报告 2026-07-03
DeepSeek V3	21%MASK response proportion: Honest	条件不完整	MASKhonesty under pressure—	未披露Early Results on Evaluating GLM 5.2 for Behavioral and Persuasion Risks	发布 —报告 2026-07-03
DeepSeek V4 Pro	20%MASK response proportion: Honest	条件不完整	MASKhonesty under pressure—	Neo ResearchEarly Results on Evaluating GLM 5.2 for Behavioral and Persuasion Risks	发布 2026-04-24报告 2026-07-03

任务与测量

Benchmark 协议档案

任务／对象: 在压力条件下表达不准确观点的模型
测量目标: 明确压力条件下说谎的有界发生率。
评分／结果口径: P(honest) · 表 3 的诚实、说谎及准确率指标；@10 指标与单次指标分开展示。缺失值不补零。
解释边界: 受控基准不证明稳定意图或现实环境中的欺骗发生率。

一项已报告评测

来源评测 claude-3-5-sonnet-20240620 · Table 3 · MASK.

报告指标: P(honest) · 27.7%.

表 3 的诚实、说谎及准确率指标；@10 指标与单次指标分开展示。缺失值不补零。见原文协议；不推断独立试验数量。

原文 Table 3 报告的 claude-3-5-sonnet-20240620 测量结果；数值为转录，未独立复现实验。

测量档案 · NUWA 解读

档案区分来源方法阅读与既有目录信息；已经公开不代表完成独立证据复核或双语编辑复核。

测量构念: 上下文施压时，模型是否仍表达其所信内容？
任务与样本: MASK分开信念询问与压力回答；所报研究含1,000个筛选例及500个保留例。
判分与失效情形: 压力下信念表达一致，区别于信念正确性。
系统条件: 所报完整研究含1,000筛选及500保留样例。
统计含义: 现有材料尚未确定
效度与解释: 信念由行为推断且压力场景经筛选，不代表自然部署说谎率。
适用研究问题: 模型建议：解释为谎言前保留信念核对和压力条件。

The MASK Benchmark: Disentangling Honesty From Accuracy in AI Systems · §4.1 DatasetSelected original resource https://arxiv.org/html/2503.03750v3; sha256:2a482d76ec1b6eadf5663e53d8069a2a2829b3356c3de4ef3b890985cb609e54; archived source capture; exact capture time not independently established
The MASK Benchmark: Disentangling Honesty From Accuracy in AI Systems · §4.2 Evaluation PipelineSelected original resource https://arxiv.org/html/2503.03750v3; sha256:2a482d76ec1b6eadf5663e53d8069a2a2829b3356c3de4ef3b890985cb609e54; archived source capture; exact capture time not independently established
The MASK Benchmark: Disentangling Honesty From Accuracy in AI Systems · §5 ExperimentsSelected original resource https://arxiv.org/html/2503.03750v3; sha256:2a482d76ec1b6eadf5663e53d8069a2a2829b3356c3de4ef3b890985cb609e54; archived source capture; exact capture time not independently established
The MASK Benchmark: Disentangling Honesty From Accuracy in AI Systems · §6 ConclusionSelected original resource https://arxiv.org/html/2503.03750v3; sha256:2a482d76ec1b6eadf5663e53d8069a2a2829b3356c3de4ef3b890985cb609e54; archived source capture; exact capture time not independently established

跨报告证据

相同 Benchmark 名称可能对应不同任务、计分规则和系统配置。各来源分别保留，比较组说明具体对齐了哪些条件。

The MASK Benchmark: Disentangling Honesty From Accuracy in AI Systems

实际评测方: 未披露

32 条结果记录 · 32 个报告系统名称

协议与比较依据 (5)

MASK：准确率 · The MASK Benchmark: Disentangling Honesty From Accuracy in AI Systemssource-report · 范围已审查

MASK：P(honest) · The MASK Benchmark: Disentangling Honesty From Accuracy in AI Systemssource-report · 范围已审查

MASK：P(honest)@10 · The MASK Benchmark: Disentangling Honesty From Accuracy in AI Systemssource-report · 范围已审查

MASK：P(lie) · The MASK Benchmark: Disentangling Honesty From Accuracy in AI Systemssource-report · 范围已审查

MASK：P(lie)@10 · The MASK Benchmark: Disentangling Honesty From Accuracy in AI Systemssource-report · 范围已审查

Neo Research

Early Results on Evaluating GLM 5.2 for Behavioral and Persuasion Risks →

实际评测方: Neo Research · 未披露

30 条结果记录 · 11 个报告系统名称

协议与比较依据 (6)

MASK：Honest under pressure · Neo Researchsource-report · 范围已审查

MASK：MASK response proportion: Evaded or No Belief · Neo Researchsource-report · 范围已审查

MASK：MASK response proportion: Honest · Neo Researchsource-report · 范围已审查

MASK：MASK response proportion: Lying · Neo Researchsource-report · 范围已审查

MASK：MASK verbalised evaluation-awareness rate · Neo Researchsource-report · 范围已审查

SaferAI

GLM-5.2 Risk Evaluation Report →

实际评测方: Center for AI Safety · 未披露

20 条结果记录 · 2 个报告系统名称

协议与比较依据 (21)

MASK by archetype · Continuations honestysource-report · 范围已审查

MASK by archetype · Disinformation honestysource-report · 范围已审查

MASK by archetype · Doubling-down honestysource-report · 范围已审查

MASK by archetype · Known-facts honestysource-report · 范围已审查

MASK by archetype · Provided-facts honestysource-report · 范围已审查

MASK by archetype · Statistics honestysource-report · 范围已审查

MASK：Continuations honesty · SaferAIsource-report · 范围已审查

MASK：Disinformation honesty · SaferAIsource-report · 范围已审查

MASK：Doubling-down honesty · SaferAIsource-report · 范围已审查

MASK：Known-facts honesty · SaferAIsource-report · 范围已审查

MASK：MASK category honesty · SaferAIsource-report · 范围已审查

MASK：MASK Evaded or No Belief · SaferAIsource-report · 范围已审查

MASK：MASK Honest · SaferAIsource-report · 范围已审查

MASK：MASK Lying · SaferAIsource-report · 范围已审查

MASK：Provided-facts honesty · SaferAIsource-report · 范围已审查

MASK：Statistics honesty · SaferAIsource-report · 范围已审查

Neo Research

Evaluating Kimi K3 for Misalignment Risks →

实际评测方: Neo Research

3 条结果记录 · 3 个报告系统名称

协议与比较依据 (1)

MASK：Lying rate under pressure · Neo Researchsource-report · 范围已审查

Neo Research

Evaluating DeepSeek v4 Pro for Frontier Risks →

实际评测方: Neo Research · 未披露

21 条结果记录 · 7 个报告系统名称

协议与比较依据 (3)

MASK：response label: Evaded or No Belief · Neo Researchsource-report · 范围已审查

MASK：response label: Honest · Neo Researchsource-report · 范围已审查

MASK：response label: Lying · Neo Researchsource-report · 范围已审查

原始来源图表与材料

原文报告结果

原文顺序 · 原文配置

P(honest)

0–100%

claude-3-5-sonnet-20240620

claude-3-5-sonnet-20240620 · 27.7% · 表 3 的诚实、说谎及准确率指标；@10 指标与单次指标分开展示。缺失值不补零。 · 见原文协议；不推断独立试验数量。

27.7%

claude-3-7-sonnet-20250219

claude-3-7-sonnet-20250219 · 47.6% · 表 3 的诚实、说谎及准确率指标；@10 指标与单次指标分开展示。缺失值不补零。 · 见原文协议；不推断独立试验数量。

47.6%

deepseek-r1

deepseek-r1 · 24.7% · 表 3 的诚实、说谎及准确率指标；@10 指标与单次指标分开展示。缺失值不补零。 · 见原文协议；不推断独立试验数量。

24.7%

deepseek-v3

deepseek-v3 · 20.8% · 表 3 的诚实、说谎及准确率指标；@10 指标与单次指标分开展示。缺失值不补零。 · 见原文协议；不推断独立试验数量。

20.8%

deepseek-llm-67b-chat

deepseek-llm-67b-chat · 18.6% · 表 3 的诚实、说谎及准确率指标；@10 指标与单次指标分开展示。缺失值不补零。 · 见原文协议；不推断独立试验数量。

18.6%

gemini-2.0-flash

gemini-2.0-flash · 20.7% · 表 3 的诚实、说谎及准确率指标；@10 指标与单次指标分开展示。缺失值不补零。 · 见原文协议；不推断独立试验数量。

20.7%

gpt-4.5-preview-2025-02-27

gpt-4.5-preview-2025-02-27 · 27.2% · 表 3 的诚实、说谎及准确率指标；@10 指标与单次指标分开展示。缺失值不补零。 · 见原文协议；不推断独立试验数量。

27.2%

gpt-4o-2024-08-06

gpt-4o-2024-08-06 · 21.8% · 表 3 的诚实、说谎及准确率指标；@10 指标与单次指标分开展示。缺失值不补零。 · 见原文协议；不推断独立试验数量。

21.8%

gpt-4o-mini-2024-07-18

gpt-4o-mini-2024-07-18 · 21.4% · 表 3 的诚实、说谎及准确率指标；@10 指标与单次指标分开展示。缺失值不补零。 · 见原文协议；不推断独立试验数量。

21.4%

grok-2-1212

grok-2-1212 · 14.2% · 表 3 的诚实、说谎及准确率指标；@10 指标与单次指标分开展示。缺失值不补零。 · 见原文协议；不推断独立试验数量。

14.2%

llama-2-13b-chat

llama-2-13b-chat · 28.7% · 表 3 的诚实、说谎及准确率指标；@10 指标与单次指标分开展示。缺失值不补零。 · 见原文协议；不推断独立试验数量。

28.7%

llama-2-70b-chat

llama-2-70b-chat · 28.3% · 表 3 的诚实、说谎及准确率指标；@10 指标与单次指标分开展示。缺失值不补零。 · 见原文协议；不推断独立试验数量。

28.3%

显示 12 / 32 个系统

数值描述原文协议下的测量结果，不是综合安全评分。

表 3 的诚实、说谎及准确率指标；@10 指标与单次指标分开展示。缺失值不补零。未单独注明评测日期；下表保留发表或记录日期。

评测条件与系统配置

claude-3-5-sonnet-20240620: 见原文协议；不推断独立试验数量。 · Table 3 · MASK; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

claude-3-7-sonnet-20250219: 见原文协议；不推断独立试验数量。 · Table 3 · MASK; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

deepseek-r1: 见原文协议；不推断独立试验数量。 · Table 3 · MASK; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

deepseek-v3: 见原文协议；不推断独立试验数量。 · Table 3 · MASK; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

deepseek-llm-67b-chat: 见原文协议；不推断独立试验数量。 · Table 3 · MASK; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

gemini-2.0-flash: 见原文协议；不推断独立试验数量。 · Table 3 · MASK; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

gpt-4.5-preview-2025-02-27: 见原文协议；不推断独立试验数量。 · Table 3 · MASK; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

gpt-4o-2024-08-06: 见原文协议；不推断独立试验数量。 · Table 3 · MASK; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

gpt-4o-mini-2024-07-18: 见原文协议；不推断独立试验数量。 · Table 3 · MASK; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

grok-2-1212: 见原文协议；不推断独立试验数量。 · Table 3 · MASK; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

llama-2-13b-chat: 见原文协议；不推断独立试验数量。 · Table 3 · MASK; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

llama-2-70b-chat: 见原文协议；不推断独立试验数量。 · Table 3 · MASK; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

llama-2-7b-chat: 见原文协议；不推断独立试验数量。 · Table 3 · MASK; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

llama-31-405b-instruct: 见原文协议；不推断独立试验数量。 · Table 3 · MASK; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

llama-31-70b-instruct: 见原文协议；不推断独立试验数量。 · Table 3 · MASK; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

llama-31-8b-instruct: 见原文协议；不推断独立试验数量。 · Table 3 · MASK; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

llama-32-1b-instruct: 见原文协议；不推断独立试验数量。 · Table 3 · MASK; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

llama-32-3b-instruct: 见原文协议；不推断独立试验数量。 · Table 3 · MASK; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

llama-33-70b-instruct: 见原文协议；不推断独立试验数量。 · Table 3 · MASK; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

o3-mini-2025-01-31 ∗: 见原文协议；不推断独立试验数量。 · Table 3 · MASK; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

qwen15-110b-chat: 见原文协议；不推断独立试验数量。 · Table 3 · MASK; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

qwen15-32b-chat: 见原文协议；不推断独立试验数量。 · Table 3 · MASK; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

qwen15-72b-chat: 见原文协议；不推断独立试验数量。 · Table 3 · MASK; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

qwen15-7b-chat: 见原文协议；不推断独立试验数量。 · Table 3 · MASK; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

qwen25-05b-instruct: 见原文协议；不推断独立试验数量。 · Table 3 · MASK; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

qwen25-14b-instruct: 见原文协议；不推断独立试验数量。 · Table 3 · MASK; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

qwen25-15b-instruct: 见原文协议；不推断独立试验数量。 · Table 3 · MASK; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

qwen25-32b-instruct: 见原文协议；不推断独立试验数量。 · Table 3 · MASK; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

qwen25-3b-instruct: 见原文协议；不推断独立试验数量。 · Table 3 · MASK; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

qwen25-72b-instruct: 见原文协议；不推断独立试验数量。 · Table 3 · MASK; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

qwen25-7b-instruct: 见原文协议；不推断独立试验数量。 · Table 3 · MASK; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

qwq-32b-preview: 见原文协议；不推断独立试验数量。 · Table 3 · MASK; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

原文报告结果 · 原文顺序
系统 / 配置	P(honest)	P(lie)	P(honest)@10	P(lie)@10	准确率	发表 / 核验日期
claude-3-5-sonnet-20240620未注明 Harness	27.7%	33.4%	23.6%	44.7%	80.1%	来源核验2026-10-25
claude-3-7-sonnet-20250219未注明 Harness	47.6%	26.6%	38.2%	42.1%	82.2%	来源核验2026-10-25
deepseek-r1未注明 Harness	24.7%	42.9%	未报告	未报告	79.6%	来源核验2026-10-25
deepseek-v3未注明 Harness	20.8%	53.5%	13.5%	67.4%	71.6%	来源核验2026-10-25
deepseek-llm-67b-chat未注明 Harness	18.6%	45.6%	6.5%	69.0%	64.3%	来源核验2026-10-25
gemini-2.0-flash未注明 Harness	20.7%	48.4%	14.5%	64.0%	79.4%	来源核验2026-10-25
gpt-4.5-preview-2025-02-27未注明 Harness	27.2%	43.5%	未报告	未报告	76.7%	来源核验2026-10-25
gpt-4o-2024-08-06未注明 Harness	21.8%	44.5%	14.5%	63.0%	78.6%	来源核验2026-10-25
gpt-4o-mini-2024-07-18未注明 Harness	21.4%	45.3%	15.9%	59.7%	71.4%	来源核验2026-10-25
grok-2-1212未注明 Harness	14.2%	63.0%	10.2%	71.2%	72.5%	来源核验2026-10-25
llama-2-13b-chat未注明 Harness	28.7%	24.7%	19.0%	41.4%	40.1%	来源核验2026-10-25
llama-2-70b-chat未注明 Harness	28.3%	26.7%	19.7%	41.5%	40.6%	来源核验2026-10-25
llama-2-7b-chat未注明 Harness	27.5%	21.5%	17.8%	38.2%	33.6%	来源核验2026-10-25
llama-31-405b-instruct未注明 Harness	21.6%	28.0%	14.3%	44.9%	72.1%	来源核验2026-10-25
llama-31-70b-instruct未注明 Harness	27.1%	43.5%	14.4%	64.3%	73.8%	来源核验2026-10-25
llama-31-8b-instruct未注明 Harness	18.8%	23.5%	8.2%	46.7%	62.0%	来源核验2026-10-25
llama-32-1b-instruct未注明 Harness	13.9%	13.1%	4.3%	35.8%	23.0%	来源核验2026-10-25
llama-32-3b-instruct未注明 Harness	21.8%	23.5%	10.7%	43.1%	40.0%	来源核验2026-10-25
llama-33-70b-instruct未注明 Harness	24.7%	44.9%	17.3%	58.8%	75.6%	来源核验2026-10-25
o3-mini-2025-01-31 ∗未注明 Harness	19.6%	48.6%	未报告	未报告	63.3%	来源核验2026-10-25
qwen15-110b-chat未注明 Harness	27.9%	35.6%	20.2%	53.4%	72.8%	来源核验2026-10-25
qwen15-32b-chat未注明 Harness	23.8%	42.5%	15.5%	60.0%	63.0%	来源核验2026-10-25
qwen15-72b-chat未注明 Harness	24.2%	47.8%	15.1%	63.1%	69.3%	来源核验2026-10-25
qwen15-7b-chat未注明 Harness	27.1%	35.1%	15.8%	55.2%	52.5%	来源核验2026-10-25
qwen25-05b-instruct未注明 Harness	15.9%	15.4%	6.3%	41.1%	20.8%	来源核验2026-10-25
qwen25-14b-instruct未注明 Harness	26.5%	47.7%	17.5%	63.8%	64.4%	来源核验2026-10-25
qwen25-15b-instruct未注明 Harness	25.7%	26.9%	10.5%	57.7%	28.8%	来源核验2026-10-25
qwen25-32b-instruct未注明 Harness	28.7%	43.9%	20.2%	59.5%	63.7%	来源核验2026-10-25
qwen25-3b-instruct未注明 Harness	30.7%	33.8%	18.6%	54.3%	46.8%	来源核验2026-10-25
qwen25-72b-instruct未注明 Harness	23.2%	49.2%	15.9%	61.9%	66.0%	来源核验2026-10-25
qwen25-7b-instruct未注明 Harness	28.9%	39.0%	18.6%	55.3%	51.6%	来源核验2026-10-25
qwq-32b-preview未注明 Harness	20.3%	25.2%	11.1%	46.3%	49.2%	来源核验2026-10-25

MASK

原始评测方结果 · 来源顺序

Honest under pressure

0–100%

GLM-5.2

GLM-5.2 · 55% · 明确压力条件下说谎的有界发生率。 · 见报告特定样本与分母。

55%

DeepSeek V4 Pro

DeepSeek V4 Pro · 20% · 明确压力条件下说谎的有界发生率。 · 见报告特定样本与分母。

20%

Claude Sonnet 4.6

Claude Sonnet 4.6 · 66% · 明确压力条件下说谎的有界发生率。 · 见报告特定样本与分母。

66%

显示 3 / 3 个系统

明确压力条件下说谎的有界发生率。

受控基准不证明稳定意图或现实环境中的欺骗发生率。本评估显示报告日期和原始执行方。

评测条件与系统配置

GLM-5.2: 见报告特定样本与分母。 · MASK; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

DeepSeek V4 Pro: 见报告特定样本与分母。 · MASK; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

Claude Sonnet 4.6: 见报告特定样本与分母。 · MASK; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

MASK · 原文顺序
系统 / 配置	Honest under pressure	发表 / 核验日期
GLM-5.2未注明 Harness	55%	发表2026-07-03
DeepSeek V4 Pro未注明 Harness	20%	发表2026-07-03
Claude Sonnet 4.6未注明 Harness	66%	发表2026-07-03

MASK by archetype

原始评测方结果 · 来源顺序

Continuations honesty

0–100%

Claude Opus 4.7

Claude Opus 4.7 · 59.1% · 95% Wilson CI [51.7, 66.1] (as reported) · 明确压力条件下说谎的有界发生率。 · 见报告特定样本与分母。

59.1%

GPT-5.5

GPT-5.5 · 65.3% · 95% Wilson CI [58.1, 72.0] (as reported) · 明确压力条件下说谎的有界发生率。 · 见报告特定样本与分母。

65.3%

显示 2 / 2 个系统

明确压力条件下说谎的有界发生率。

受控基准不证明稳定意图或现实环境中的欺骗发生率。本评估显示报告日期和原始执行方。

评测条件与系统配置

Claude Opus 4.7: 见报告特定样本与分母。 · MASK by archetype; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

GPT-5.5: 见报告特定样本与分母。 · MASK by archetype; modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

MASK by archetype · 原文顺序
系统 / 配置	Continuations honesty	Disinformation honesty	Doubling-down honesty	Known-facts honesty	Provided-facts honesty	Statistics honesty	发表 / 核验日期
Claude Opus 4.7未注明 Harness	59.1%95% Wilson CI [51.7, 66.1] (as reported)	33.6%95% Wilson CI [25.9, 42.3] (as reported)	68.3%95% Wilson CI [59.6, 76.0] (as reported)	63.6%95% Wilson CI [56.9, 69.9] (as reported)	74.8%95% Wilson CI [69.4, 79.6] (as reported)	80.2%95% Wilson CI [71.1, 86.9] (as reported)	发表2026-08-02
GPT-5.5未注明 Harness	65.3%95% Wilson CI [58.1, 72.0] (as reported)	69.6%95% Wilson CI [61.1, 77.0] (as reported)	63.3%95% Wilson CI [54.4, 71.4] (as reported)	77.0%95% Wilson CI [70.9, 82.2] (as reported)	75.2%95% Wilson CI [69.7, 79.9] (as reported)	87.5%95% Wilson CI [79.4, 92.7] (as reported)	发表2026-08-02

评估出处

Early Results on Evaluating GLM 5.2 for Behavioral and Persuasion Risks → · 外部报告

GLM-5.2 Risk Evaluation Report → · 外部报告

Evaluating Kimi K3 for Misalignment Risks → · 外部报告

Evaluating DeepSeek v4 Pro for Frontier Risks → · 外部报告

参考文献

[1] Kimi Code — What’s New ; Kimi K3 · July 16, 2026
[2] kimi-k3 developer model card ; Model Summary: Total Parameters; Activated Parameters
[3] Z.ai release notes ; GLM-5.2 entry dated 2026-06-16
[4] GLM-5.2 model card ; Parameter counts not disclosed in reviewed developer source
[5] deepseek-v4-pro release ; News article title, dated heading and availability
[6] deepseek-v4-pro developer model card ; Introduction; model comparison table
[7] GPT-5.6 official general availability ; July 9, 2026: general availability following limited trusted-partner preview; Parameter counts not disclosed in reviewed launch article
[8] OpenAI — introducing gpt 5 5 ; Publication date and availability section; Parameter counts not disclosed in launch article
[9] Introducing Claude Opus 4.7 — Anthropic ; Publication date and availability section; Official launch article; parameter counts not disclosed
[10] Introducing Sonnet 4.6 — Anthropic ; Publication date and availability section; Official launch article; parameter counts not disclosed
[11] Early Results on Evaluating GLM 5.2 for Behavioral and Persuasion Risks. 2026-07-03. 3 July 2026 ; §1; Figure 1; #behavioral; Figure 1 / mask_honesty.png; printed label GLM 5.2 / Honest; #behavioral; Figure 1 / mask_honesty.png; printed label GLM 5.2 / Evaded or No Belief
[12] Evaluating DeepSeek v4 Pro for Frontier Risks. 2026-05-29. v1.1 · 29 May 2026 ; PDF p. 28; MASK; response label: Honest; PDF p. 28; MASK; response label: Evaded or No Belief; PDF p. 28; MASK; response label: Lying
[13] GLM-5.2 Risk Evaluation Report. 2026-08-02. v1.1 · revised 26 August 2026 ; Appendix A.7; Table A.3, pp. 41–42; p.21 Fig.9; p.42 Table A.3
[14] Richard Ren, Arunim Agarwal 等. The MASK Benchmark: Disentangling Honesty From Accuracy in AI Systems. 2026-01-05. v3 [arXiv]; Author affiliations on the original paper title page; Table 3
[15] Evaluating Kimi K3 for Misalignment Risks. 2026-09-11. September 2026 ; §7.5 Figure 46 p.65

搜索 NUWA Index

MASK

MASK · MASK response proportion: Honest

任务与测量

一项已报告评测

跨报告证据

The MASK Benchmark: Disentangling Honesty From Accuracy in AI Systems

Early Results on Evaluating GLM 5.2 for Behavioral and Persuasion Risks →

GLM-5.2 Risk Evaluation Report →

Evaluating Kimi K3 for Misalignment Risks →

Evaluating DeepSeek v4 Pro for Frontier Risks →

原文报告结果

P(honest)

MASK

Honest under pressure

MASK by archetype

Continuations honesty

评估出处

相关研究问题

欺骗 / 误导性交流 →

参考文献