NUWA 评测档案
CharXiv
模型能否理解研究图表？
跨报告监测
已发表证据
CharXiv · Verbalized evaluation awareness
跨来源报告的已发表测量。任务范围通过注释区分，配置差异保留在每条观测中。
4 条观测 · 2 已定位日期
● 条件匹配◇ 配置差异□ 部分条件未披露
2 条观测尚无已核实的模型发布日期，可在数据与系统结果中查看。
选择图中数据点或表格行，查看条件与出处。
4 条观测
| 系统／模型 | 结果 | 条件状态 | 任务／条件 | 评测方／报告 | 日期 |
|---|---|---|---|---|---|
 Kimi K3 | 33.7%Verbalized evaluation awareness | 条件不完整 | CharXiv chart withheldCharXiv grounding— | Neo ResearchEvaluating Kimi K3 for Misalignment Risks | 发布 2026-07-16报告 2026-09-11 |
 DeepSeek V4 FlashDeepSeek V4 Flash 0731 | 19.3%Verbalized evaluation awareness | 条件不完整 | CharXiv chart withheldCharXiv grounding— | Neo ResearchEvaluating Kimi K3 for Misalignment Risks | 发布 —报告 2026-09-11 |
| Kimi K3 | 36.5%Verbalized evaluation awareness | 条件不完整 | CharXiv chart withheldCharXiv no grounding— | Neo ResearchEvaluating Kimi K3 for Misalignment Risks | 发布 2026-07-16报告 2026-09-11 |
| DeepSeek V4 FlashDeepSeek V4 Flash 0731 | 10.6%Verbalized evaluation awareness | 条件不完整 | CharXiv chart withheldCharXiv no grounding— | Neo ResearchEvaluating Kimi K3 for Misalignment Risks | 发布 —报告 2026-09-11 |
结合任务范围与运行配置解读结果。
METR Time Horizon 1.1 来源已停止积极更新，最后更新于 2026 年 9 月 8 日。超过 16 小时的估计超出其可靠测量范围。
协议、配置与原始证据 →任务与测量
Benchmark 协议档案
- 任务／对象
- 给定任务配置中的模型或智能体。
- 测量目标
- 检验图表理解与推理。Neo 移除图像的改造测量缺少必要输入时的回答尝试。
- 评分／结果口径
- Attempted answer with image withheld · 检验图表理解与推理。Neo 移除图像的改造测量缺少必要输入时的回答尝试。
- 解释边界
- 原始视觉能力基准与缺失图像行为测试测量不同构念。
检验图表理解与推理。Neo 移除图像的改造测量缺少必要输入时的回答尝试。
一项已报告评测
来源评测 Kimi K3 · CharXiv with images withheld.
报告指标: Attempted answer with image withheld · 88.7%.
检验图表理解与推理。Neo 移除图像的改造测量缺少必要输入时的回答尝试。 见报告特定样本与分母。
原文 §1.1.1; Figure 1 报告的测量；转录不等于独立复现实验。
测量档案 · NUWA 解读
档案区分来源方法阅读与既有目录信息；已经公开不代表完成独立证据复核或双语编辑复核。
- 测量构念
- 多模态模型能否理解自然科研图表？
- 任务与样本
- 2,323张专家精选arXiv图表含逾一万描述推理题，其中1,000图作验证，其余测试答案保留。
- 判分与失效情形
- 分描述与推理正确率，验证与保留答案测试总体不同。
- 系统条件
- 2,323图，1,000验证，其余测试。
- 统计含义
- 来源报告的结果表述；这不等同于已确定运行次数、分母或估计方法： 论文报告GPT-4o推理正确率47.1%。 人类推理、描述为80.5%、92.1%，作者指出判分或参与者错误可能影响。
- 效度与解释
- 人类错误及自动判分不确定限制上限结论，专家构造昂贵且覆盖经选择。
- 适用研究问题
- 模型建议：区分描述与推理，以及验证与保留测试结果。
- CharXiv · AbstractSelected original resource https://arxiv.org/html/2406.18521; sha256:5d25e15e0ce1e63c2a5dca2d34c10b62b82cb45702f4071b8e870bd903cc5d30; archived source capture; exact capture time not independently established
- CharXiv · §3 CharXiv: A Real-World and Challenging Chart Understanding BenchmarkSelected original resource https://arxiv.org/html/2406.18521; sha256:5d25e15e0ce1e63c2a5dca2d34c10b62b82cb45702f4071b8e870bd903cc5d30; archived source capture; exact capture time not independently established
- CharXiv · §4.2 Experimental ResultsSelected original resource https://arxiv.org/html/2406.18521; sha256:5d25e15e0ce1e63c2a5dca2d34c10b62b82cb45702f4071b8e870bd903cc5d30; archived source capture; exact capture time not independently established
- CharXiv · §5 Conclusion: LimitationsSelected original resource https://arxiv.org/html/2406.18521; sha256:5d25e15e0ce1e63c2a5dca2d34c10b62b82cb45702f4071b8e870bd903cc5d30; archived source capture; exact capture time not independently established
跨报告证据
相同 Benchmark 名称可能对应不同任务、计分规则和系统配置。各来源分别保留，比较组说明具体对齐了哪些条件。
Neo Research
Evaluating Kimi K3 for Misalignment Risks →
实际评测方: Neo Research
12 条结果记录 · 5 个报告系统名称
协议与比较依据 (5)
CharXiv with images withheld · Attempted answer with image withheldsource-report · 范围已审查
CharXiv：Attempt rate · Neo Researchsource-report · 范围已审查
CharXiv：Attempted answer with image withheld · Neo Researchsource-report · 范围已审查
CharXiv：Verbalized evaluation awareness · Neo Researchsource-report · 范围已审查
CharXiv：Verbalized evaluation awareness · Neo Researchsource-report · 范围已审查
原始来源图表与材料
CharXiv with images withheld
原始评测方结果 · 来源顺序
筛选系统
Attempted answer with image withheld
0–100%Kimi K3Kimi K3 · 88.7% · 检验图表理解与推理。Neo 移除图像的改造测量缺少必要输入时的回答尝试。 · 见报告特定样本与分母。
88.7%
GPT-5.6 TerraGPT-5.6 Terra · 21.3% · 检验图表理解与推理。Neo 移除图像的改造测量缺少必要输入时的回答尝试。 · 见报告特定样本与分母。
21.3%
Claude Sonnet 5Claude Sonnet 5 · 16.3% · 检验图表理解与推理。Neo 移除图像的改造测量缺少必要输入时的回答尝试。 · 见报告特定样本与分母。
16.3%DeepSeek V4 Flash 0731DeepSeek V4 Flash 0731 · 48.2% · 检验图表理解与推理。Neo 移除图像的改造测量缺少必要输入时的回答尝试。 · 见报告特定样本与分母。
48.2%显示 4 / 4 个系统
检验图表理解与推理。Neo 移除图像的改造测量缺少必要输入时的回答尝试。
原始视觉能力基准与缺失图像行为测试测量不同构念。 本评估显示报告日期和原始执行方。
评测条件与系统配置
- Kimi K3
- 见报告特定样本与分母。 · CharXiv with images withheld
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- GPT-5.6 Terra
- 见报告特定样本与分母。 · CharXiv with images withheld
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- Claude Sonnet 5
- 见报告特定样本与分母。 · CharXiv with images withheld
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- DeepSeek V4 Flash 0731
- 见报告特定样本与分母。 · CharXiv with images withheld
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
| 系统 / 配置 | Attempted answer with image withheld | 发表 / 核验日期 |
|---|---|---|
| Kimi K3未注明 Harness | 88.7% | 发表2026-09-11 |
| GPT-5.6 Terra未注明 Harness | 21.3% | 发表2026-09-11 |
| Claude Sonnet 5未注明 Harness | 16.3% | 发表2026-09-11 |
| DeepSeek V4 Flash 0731未注明 Harness | 48.2% | 发表2026-09-11 |
评估出处
相关研究问题
参考文献
- [1] Kimi Code — What’s New ; Kimi K3 · July 16, 2026
- [2] kimi-k3 developer model card ; Model Summary: Total Parameters; Activated Parameters
- [3] GPT-5.6 official general availability ; July 9, 2026: general availability following limited trusted-partner preview; Parameter counts not disclosed in reviewed launch article
- [4] Introducing Claude Sonnet 5 — Anthropic ; Publication date and availability section; Official launch article; parameter counts not disclosed
- [5] Evaluating Kimi K3 for Misalignment Risks. 2026-09-11. September 2026 ; §1.1.1; Figure 1; §1.1.1 Figure 1 p.8; §1.1.3 Table 1 p.11
- [6] CharXiv