NUWA 证据记录
GPT-5.5
MASK · 证据记录
原始来源图表与材料
MASK by archetype
原始评测方结果 · 来源顺序
筛选系统
Continuations honesty
0–100%
GPT-5.5GPT-5.5 · 65.3% · 95% Wilson CI [58.1, 72.0] (as reported) · 明确压力条件下说谎的有界发生率。 · 见报告特定样本与分母。
65.3%显示 1 / 1 个系统
明确压力条件下说谎的有界发生率。
受控基准不证明稳定意图或现实环境中的欺骗发生率。 本评估显示报告日期和原始执行方。
评测条件与系统配置
- GPT-5.5
- 见报告特定样本与分母。 · MASK by archetype
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
| 系统 / 配置 | Continuations honesty | Disinformation honesty | Doubling-down honesty | Known-facts honesty | Provided-facts honesty | Statistics honesty | 发表 / 核验日期 |
|---|---|---|---|---|---|---|---|
| GPT-5.5未注明 Harness | 65.3%95% Wilson CI [58.1, 72.0] (as reported) | 69.6%95% Wilson CI [61.1, 77.0] (as reported) | 63.3%95% Wilson CI [54.4, 71.4] (as reported) | 77.0%95% Wilson CI [70.9, 82.2] (as reported) | 75.2%95% Wilson CI [69.7, 79.9] (as reported) | 87.5%95% Wilson CI [79.4, 92.7] (as reported) | 发表2026-08-02 |
评估出处
GLM-5.2 Risk Evaluation Report → · 外部报告
实际评测: Center for AI Safety · 模型档案 →
方法与范围
明确压力条件下说谎的有界发生率。
- 证据类型
- 可复用基准
- 评测对象
- 在压力条件下表达不准确观点的模型
- 主观测维度
- Propensity · 行为倾向
- 证据快照
- 2026-10-29.1
主构念是条件性误导陈述倾向，而非一般事实准确率。
来源结论
原文 Appendix A.7; Table A.3, pp. 41–42 报告的测量；转录不等于独立复现实验。
适用限制
受控基准不证明稳定意图或现实环境中的欺骗发生率。
受控基准不证明稳定意图或现实环境中的欺骗发生率。
相关研究问题
欺骗 / 误导性交流 →
重复压力情境将说谎与错误信念区分。
参考文献
- [1] Richard Ren, Arunim Agarwal 等. The MASK Benchmark: Disentangling Honesty From Accuracy in AI Systems. 2026-01-05. v3 [arXiv]; Author affiliations on the original paper title page
- [2] GLM-5.2 Risk Evaluation Report. 2026-08-02. v1.1 · revised 26 August 2026 ; Appendix A.7; Table A.3, pp. 41–42