白泽(Whitzard)女娲实验室 ↗
NUWANUWA INDEX

搜索 NUWA Index

研究 · 测量协议 · 评测结果 · 观点

English
← NUWA Index

证据记录

DeepSeek V4 Pro (max)

PortBench · 证据记录

来源与出处 ↓ 阅读研究记录 →

原始来源图表与材料

PortBench

原始评测方结果 · 来源顺序

Reported task accuracy

0–100%
DeepSeek V4 Pro (max)
44%
显示 1 / 1 个系统

CAISI 的保留软件工程评测采用参考实现和明确智能体预算。

任务集未公开,连续评分不同于二元任务成功。 本评估显示报告日期和原始执行方。

评测条件与系统配置
DeepSeek V4 Pro (max)
见报告特定样本与分母。 · PortBench
modelVersion: DeepSeek V4 Pro (max) · harness: Inspect ReAct · tools: Software engineering environment · budget: 1M weighted tokens
PortBench · 原文顺序
系统 / 配置Reported task accuracy发表 / 核验日期
DeepSeek V4 Pro (max)Inspect ReAct44%发表2026-05-01

评估出处

CAISI Evaluation of DeepSeek V4 Pro → · 外部报告

实际评测: 美国 NIST/CAISI · 模型档案 →

方法与范围

CAISI 的保留软件工程评测采用参考实现和明确智能体预算。

证据类型
可复用基准
评测对象
给定任务配置中的模型或智能体。
主观测维度
Capability · 任务能力
证据快照
2026-10-29.1

主维度依据所述测量确定;背景风险关联不证明有害部署能力。

来源结论

原文 Capability Results; Figure 2 报告的测量;转录不等于独立复现实验。

适用限制

任务集未公开,连续评分不同于二元任务成功。

任务集未公开,连续评分不同于二元任务成功。

相关研究问题

参考文献

数值结果由所引研究的作者报告。

  1. [1] PortBench. 2026-05-01. 1 May 2026 ; Capability Results; Figure 2