风险评测 · 技术报告

Evaluation of DeepSeek AI Models

NUWA 研究解读 · 独立复核待完成

首次发表: 2025-09-30来源核验: 2026-10-25

原始来源 ↗引用本记录 ↓自主性 →欺骗 →网络安全 →化生放核 →虚假信息与影响 →

NUWA Research Note

研究问题研究设计与假设来源发现 NUWA 解读局限与相反证据研究与决策意义机构与角色原始资源

模型辅助整理 · 选读原始全文或官方文章中的相关章节；尚未完成逐章节审计。

研究速读

NUWA 解读：独立基准选择及预算约定对跨提供方解释至关重要。

研究问题

受控能力及安全评测中，所选DeepSeek版本表现如何？

研究设计与假设

2025年9月报告比较R1、R1-0528、V3.1及美国参考模型，覆盖19项公开私有基准，并逐模型适配接口。

CyberGym — Figure 2 — Figure 2 · 原文结果图，请结合下方的协议范围与局限解读。原图与来源 ↗

来源发现

所测基准中最佳美国参考几乎均领先最佳DeepSeek，网络与软件差距较大。

报告分开能力、成本、安全、审查及采用，而非单一指标。

NUWA 解读

NUWA 解读：独立基准选择及预算约定对跨提供方解释至关重要。

局限与相反证据

版本和任务均有时点性，成本以支出表现曲线而非仅令牌价格，不确定性含标准误。

研究与决策意义

模型建议：逐基准引用预算、版本及误差单位，不变为无日期全球排名。

精确来源位置

Evaluation of DeepSeek AI Models · PDF p.2 §1 Executive SummarySelected original resource https://www.nist.gov/system/files/documents/2025/09/30/CAISI_Evaluation_of_DeepSeek_AI_Models.pdf; sha256:4b267893d3c4b6b48d36deb99efec591c414d2e2608be0625d90b477298c82af; archived source capture; exact capture time not independently established
Evaluation of DeepSeek AI Models · PDF pp.4–5 §2 MethodologySelected original resource https://www.nist.gov/system/files/documents/2025/09/30/CAISI_Evaluation_of_DeepSeek_AI_Models.pdf; sha256:4b267893d3c4b6b48d36deb99efec591c414d2e2608be0625d90b477298c82af; archived source capture; exact capture time not independently established
Evaluation of DeepSeek AI Models · PDF p.63 Appendix: agent configurationSelected original resource https://www.nist.gov/system/files/documents/2025/09/30/CAISI_Evaluation_of_DeepSeek_AI_Models.pdf; sha256:4b267893d3c4b6b48d36deb99efec591c414d2e2608be0625d90b477298c82af; archived source capture; exact capture time not independently established
Evaluation of DeepSeek AI Models · PDF p.66 A5 Model Token Prices and A6 Cost Ratio CalculationSelected original resource https://www.nist.gov/system/files/documents/2025/09/30/CAISI_Evaluation_of_DeepSeek_AI_Models.pdf; sha256:4b267893d3c4b6b48d36deb99efec591c414d2e2608be0625d90b477298c82af; archived source capture; exact capture time not independently established

来源核查、数据提取、编辑批准与实验复现分别记录。方法说明 →

机构与角色

研究机构美国 NIST／CAISI

评测协议

Cybench →

CyberGym →

AgentDojo →

引用与复用

引用研究发现时请引用原始出版物；引用 NUWA 的整理与解释时，单独引用本站记录及对应快照。

BibTeX ↓RIS ↓记录与来源元数据 · JSON ↓阅读覆盖 · JSON 提交更正

原始出版物 · BibTeX

@misc{caisi-deepseek-2025-report,
  title = {Evaluation of DeepSeek AI Models},
  url = {https://www.nist.gov/system/files/documents/2025/09/30/CAISI_Evaluation_of_DeepSeek_AI_Models.pdf},
  year = {2025},
  date = {2025-09-30},
  version = {30 September 2025},
  note = {30 September 2025}
}

NUWA 记录 · BibTeX

@misc{caisi-deepseek-2025-report-nuwa,
  title = {Evaluation of DeepSeek AI Models — NUWA research record},
  url = {https://whitzard.tech/nuwa/whitzard-index/work/caisi-deepseek-2025-report/},
  version = {2026-10-29.1},
  organization = {NUWA Frontier AI Safety Lab},
  howpublished = {Retained note edition: https://whitzard.tech/nuwa/whitzard-index/data/record-editions/2026-10-29.1--caisi-deepseek-2025-report.json},
  note = {NUWA research note. Source-reading scope and independent review status are stated on the record. Snapshot 2026-10-29.1. Retained note edition: https://whitzard.tech/nuwa/whitzard-index/data/record-editions/2026-10-29.1--caisi-deepseek-2025-report.json.}
}

证据快照 2026-10-29.1 · 索引更新 · RSS

参考文献

[1] Evaluation of DeepSeek AI Models. 2025-09-30. 30 September 2025 ; Report masthead and stated evaluation methodology; PDF p.2 §1 Executive Summary; PDF pp.4–5 §2 Methodology