风险评测 · 评测基准

CharXiv: Charting Gaps in Realistic Chart Understanding in Multimodal LLMs

NUWA 研究解读 · 独立复核待完成

首次发表: 发表日期尚未核实来源核验: 2026-10-25

原始来源 ↗引用本记录 ↓

NUWA Research Note

研究问题研究设计与假设来源发现 NUWA 解读局限与相反证据研究与决策意义机构与角色原始资源

模型辅助整理 · 选读原始全文或官方文章中的相关章节；尚未完成逐章节审计。

研究速读

NUWA 解读：真实图表组合揭示简化基准隐藏的能力差距。

研究问题

多模态模型能否理解自然科研图表？

研究设计与假设

2,323张专家精选arXiv图表含逾一万描述推理题，其中1,000图作验证，其余测试答案保留。

来源发现

论文报告GPT-4o推理正确率47.1%。

人类推理、描述为80.5%、92.1%，作者指出判分或参与者错误可能影响。

NUWA 解读

NUWA 解读：真实图表组合揭示简化基准隐藏的能力差距。

局限与相反证据

人类错误及自动判分不确定限制上限结论，专家构造昂贵且覆盖经选择。

研究与决策意义

模型建议：区分描述与推理，以及验证与保留测试结果。

精确来源位置

CharXiv · AbstractSelected original resource https://arxiv.org/html/2406.18521; sha256:5d25e15e0ce1e63c2a5dca2d34c10b62b82cb45702f4071b8e870bd903cc5d30; archived source capture; exact capture time not independently established
CharXiv · §3 CharXiv: A Real-World and Challenging Chart Understanding BenchmarkSelected original resource https://arxiv.org/html/2406.18521; sha256:5d25e15e0ce1e63c2a5dca2d34c10b62b82cb45702f4071b8e870bd903cc5d30; archived source capture; exact capture time not independently established
CharXiv · §4.2 Experimental ResultsSelected original resource https://arxiv.org/html/2406.18521; sha256:5d25e15e0ce1e63c2a5dca2d34c10b62b82cb45702f4071b8e870bd903cc5d30; archived source capture; exact capture time not independently established
CharXiv · §5 Conclusion: LimitationsSelected original resource https://arxiv.org/html/2406.18521; sha256:5d25e15e0ce1e63c2a5dca2d34c10b62b82cb45702f4071b8e870bd903cc5d30; archived source capture; exact capture time not independently established

来源核查、数据提取、编辑批准与实验复现分别记录。方法说明 →

机构与角色

原文未注明机构

评测协议

CharXiv →

引用与复用

引用研究发现时请引用原始出版物；引用 NUWA 的整理与解释时，单独引用本站记录及对应快照。

BibTeX ↓RIS ↓记录与来源元数据 · JSON ↓阅读覆盖 · JSON 提交更正

原始出版物 · BibTeX

@misc{charxiv,
  title = {CharXiv: Charting Gaps in Realistic Chart Understanding in Multimodal LLMs},
  url = {https://charxiv.github.io/},
  version = {2026-10-25 source capture},
  note = {2026-10-25 source capture}
}

NUWA 记录 · BibTeX

@misc{charxiv-nuwa,
  title = {CharXiv: Charting Gaps in Realistic Chart Understanding in Multimodal LLMs — NUWA research record},
  url = {https://whitzard.tech/nuwa/whitzard-index/work/charxiv/},
  version = {2026-10-29.1},
  organization = {NUWA Frontier AI Safety Lab},
  howpublished = {Retained note edition: https://whitzard.tech/nuwa/whitzard-index/data/record-editions/2026-10-29.1--charxiv.json},
  note = {NUWA research note. Source-reading scope and independent review status are stated on the record. Snapshot 2026-10-29.1. Retained note edition: https://whitzard.tech/nuwa/whitzard-index/data/record-editions/2026-10-29.1--charxiv.json.}
}

证据快照 2026-10-29.1 · 索引更新 · RSS

参考文献

[1] CharXiv ; Abstract; §3 CharXiv: A Real-World and Challenging Chart Understanding Benchmark; §4.2 Experimental Results