NUWA 证据记录
Claude Opus 4.7
MASK · 证据记录
原始来源图表与材料
MASK by archetype
原始评测方结果 · 来源顺序
筛选系统
Continuations honesty
0–100%
Claude Opus 4.7Claude Opus 4.7 · 59.1% · 95% Wilson CI [51.7, 66.1] (as reported) · 明确压力条件下说谎的有界发生率。 · 见报告特定样本与分母。
59.1%显示 1 / 1 个系统
明确压力条件下说谎的有界发生率。
受控基准不证明稳定意图或现实环境中的欺骗发生率。 本评估显示报告日期和原始执行方。
评测条件与系统配置
- Claude Opus 4.7
- 见报告特定样本与分母。 · MASK by archetype
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
| 系统 / 配置 | Continuations honesty | Disinformation honesty | Doubling-down honesty | Known-facts honesty | Provided-facts honesty | Statistics honesty | 发表 / 核验日期 |
|---|---|---|---|---|---|---|---|
| Claude Opus 4.7未注明 Harness | 59.1%95% Wilson CI [51.7, 66.1] (as reported) | 33.6%95% Wilson CI [25.9, 42.3] (as reported) | 68.3%95% Wilson CI [59.6, 76.0] (as reported) | 63.6%95% Wilson CI [56.9, 69.9] (as reported) | 74.8%95% Wilson CI [69.4, 79.6] (as reported) | 80.2%95% Wilson CI [71.1, 86.9] (as reported) | 发表2026-08-02 |
评估出处
GLM-5.2 Risk Evaluation Report → · 外部报告
实际评测: Center for AI Safety · 模型档案 →
方法与范围
明确压力条件下说谎的有界发生率。
- 证据类型
- 可复用基准
- 评测对象
- 在压力条件下表达不准确观点的模型
- 主观测维度
- Propensity · 行为倾向
- 证据快照
- 2026-10-29.1
主构念是条件性误导陈述倾向，而非一般事实准确率。
来源结论
原文 Appendix A.7; Table A.3, pp. 41–42 报告的测量；转录不等于独立复现实验。
适用限制
受控基准不证明稳定意图或现实环境中的欺骗发生率。
受控基准不证明稳定意图或现实环境中的欺骗发生率。
相关研究问题
欺骗 / 误导性交流 →
重复压力情境将说谎与错误信念区分。
参考文献
- [1] Richard Ren, Arunim Agarwal 等. The MASK Benchmark: Disentangling Honesty From Accuracy in AI Systems. 2026-01-05. v3 [arXiv]; Author affiliations on the original paper title page
- [2] GLM-5.2 Risk Evaluation Report. 2026-08-02. v1.1 · revised 26 August 2026 ; Appendix A.7; Table A.3, pp. 41–42