NUWA 评测档案
PortBench
模型能否跨编程语言移植 CLI 工具？
跨报告监测
已发表证据
PortBench · Reported task accuracy
跨来源报告的已发表测量。任务范围通过注释区分，配置差异保留在每条观测中。
4 条观测 · 4 已定位日期
● 条件匹配◇ 配置差异□ 部分条件未披露
选择图中数据点或表格行，查看条件与出处。
4 条观测
| 系统／模型 | 结果 | 条件状态 | 任务／条件 | 评测方／报告 | 日期 |
|---|---|---|---|---|---|
 GPT-5.5 (xhigh)GPT-5.5 | 78%Reported task accuracy | 条件不完整 | PortBench1M weighted tokensInspect ReAct | 美国 NIST／CAISICAISI Evaluation of DeepSeek V4 Pro | 发布 2026-04-23报告 2026-05-01 |
 Claude Opus 4.6 (max)Claude Opus 4.6 | 60%Reported task accuracy | 条件不完整 | PortBench1M weighted tokensInspect ReAct | 美国 NIST／CAISICAISI Evaluation of DeepSeek V4 Pro | 发布 2026-02-05报告 2026-05-01 |
 DeepSeek V4 Pro (max)DeepSeek V4 Pro | 44%Reported task accuracy | 条件不完整 | PortBench1M weighted tokensInspect ReAct | 美国 NIST／CAISICAISI Evaluation of DeepSeek V4 Pro | 发布 2026-04-24报告 2026-05-01 |
| GPT-5.4 mini (xhigh)GPT-5.4 mini | 41%Reported task accuracy | 条件不完整 | PortBench1M weighted tokensInspect ReAct | 美国 NIST／CAISICAISI Evaluation of DeepSeek V4 Pro | 发布 2026-03-17报告 2026-05-01 |
结合任务范围与运行配置解读结果。
METR Time Horizon 1.1 来源已停止积极更新，最后更新于 2026 年 9 月 8 日。超过 16 小时的估计超出其可靠测量范围。
协议、配置与原始证据 →任务与测量
Benchmark 协议档案
- 任务／对象
- 给定任务配置中的模型或智能体。
- 测量目标
- CAISI 的保留软件工程评测采用参考实现和明确智能体预算。
- 评分／结果口径
- Reported task accuracy · CAISI 的保留软件工程评测采用参考实现和明确智能体预算。
- 解释边界
- 任务集未公开，连续评分不同于二元任务成功。
CAISI 的保留软件工程评测采用参考实现和明确智能体预算。
一项已报告评测
来源评测 GPT-5.5 (xhigh) · PortBench.
运行配置: Inspect ReAct · 1M weighted tokens.
报告指标: Reported task accuracy · 78%.
CAISI 的保留软件工程评测采用参考实现和明确智能体预算。 见报告特定样本与分母。
原文 Capability Results; Figure 2 报告的测量；转录不等于独立复现实验。
测量档案 · NUWA 解读
档案区分来源方法阅读与既有目录信息；已经公开不代表完成独立证据复核或双语编辑复核。
- 测量构念
- 智能体能否依据参考实现跨语言移植命令行工具？
- 任务与样本
- CAISI私有基准测CLI跨语言移植，使用Inspect ReAct与百万加权令牌预算。
- 判分与失效情形
- 连续移植分，不是已确立的二元全解比例。
- 系统条件
- 私有CLI语言移植任务，Inspect ReAct及百万加权令牌。
- 统计含义
- 来源报告的结果表述；这不等同于已确定运行次数、分母或估计方法： 报告列GPT-5.5为78%，Opus 4.6为60%，DeepSeek V4 Pro为44%。
- 效度与解释
- 官网表示将另行详述，现来源未披露题数、评分粒度与完整验证。
- 适用研究问题
- 模型建议：明确标注连续分，不作二元成功或成本等价解释。
- PortBench · Capability Results: Figure 2Selected original resource https://www.nist.gov/news-events/news/2026/05/caisi-evaluation-deepseek-v4-pro; sha256:37f75aab5640e04d198b94a0ca57704b06d7823caeeb05c4280c8fc461b00623; archived source capture; exact capture time not independently established
- PortBench · Benchmarks: PortBenchSelected original resource https://www.nist.gov/news-events/news/2026/05/caisi-evaluation-deepseek-v4-pro; sha256:37f75aab5640e04d198b94a0ca57704b06d7823caeeb05c4280c8fc461b00623; archived source capture; exact capture time not independently established
- PortBench · Capability Lag Measurement: token budgetsSelected original resource https://www.nist.gov/news-events/news/2026/05/caisi-evaluation-deepseek-v4-pro; sha256:37f75aab5640e04d198b94a0ca57704b06d7823caeeb05c4280c8fc461b00623; archived source capture; exact capture time not independently established
- PortBench · DeepSeek V4 Costs Less Than Other Models Of Similar Capability: exclusionsSelected original resource https://www.nist.gov/news-events/news/2026/05/caisi-evaluation-deepseek-v4-pro; sha256:37f75aab5640e04d198b94a0ca57704b06d7823caeeb05c4280c8fc461b00623; archived source capture; exact capture time not independently established
跨报告证据
相同 Benchmark 名称可能对应不同任务、计分规则和系统配置。各来源分别保留，比较组说明具体对齐了哪些条件。
美国 NIST／CAISI
CAISI Evaluation of DeepSeek V4 Pro →
实际评测方: 美国 NIST／CAISI
4 条结果记录 · 4 个报告系统名称
协议与比较依据 (1)
PortBench：Reported task accuracy · 美国 NIST／CAISIsource-report · 范围已审查
原始来源图表与材料
PortBench
原始评测方结果 · 来源顺序
筛选系统
Reported task accuracy
0–100%GPT-5.5 (xhigh)GPT-5.5 (xhigh) · 78% · CAISI 的保留软件工程评测采用参考实现和明确智能体预算。 · Inspect ReAct · 见报告特定样本与分母。
78%GPT-5.4 mini (xhigh)GPT-5.4 mini (xhigh) · 41% · CAISI 的保留软件工程评测采用参考实现和明确智能体预算。 · Inspect ReAct · 见报告特定样本与分母。
41%Claude Opus 4.6 (max)Claude Opus 4.6 (max) · 60% · CAISI 的保留软件工程评测采用参考实现和明确智能体预算。 · Inspect ReAct · 见报告特定样本与分母。
60%DeepSeek V4 Pro (max)DeepSeek V4 Pro (max) · 44% · CAISI 的保留软件工程评测采用参考实现和明确智能体预算。 · Inspect ReAct · 见报告特定样本与分母。
44%显示 4 / 4 个系统
CAISI 的保留软件工程评测采用参考实现和明确智能体预算。
任务集未公开，连续评分不同于二元任务成功。 本评估显示报告日期和原始执行方。
评测条件与系统配置
- GPT-5.5 (xhigh)
- 见报告特定样本与分母。 · PortBench
- modelVersion: GPT-5.5 (xhigh) · harness: Inspect ReAct · tools: Software engineering environment · budget: 1M weighted tokens
- GPT-5.4 mini (xhigh)
- 见报告特定样本与分母。 · PortBench
- modelVersion: GPT-5.4 mini (xhigh) · harness: Inspect ReAct · tools: Software engineering environment · budget: 1M weighted tokens
- Claude Opus 4.6 (max)
- 见报告特定样本与分母。 · PortBench
- modelVersion: Claude Opus 4.6 (max) · harness: Inspect ReAct · tools: Software engineering environment · budget: 1M weighted tokens
- DeepSeek V4 Pro (max)
- 见报告特定样本与分母。 · PortBench
- modelVersion: DeepSeek V4 Pro (max) · harness: Inspect ReAct · tools: Software engineering environment · budget: 1M weighted tokens
| 系统 / 配置 | Reported task accuracy | 发表 / 核验日期 |
|---|---|---|
| GPT-5.5 (xhigh)Inspect ReAct | 78% | 发表2026-05-01 |
| GPT-5.4 mini (xhigh)Inspect ReAct | 41% | 发表2026-05-01 |
| Claude Opus 4.6 (max)Inspect ReAct | 60% | 发表2026-05-01 |
| DeepSeek V4 Pro (max)Inspect ReAct | 44% | 发表2026-05-01 |
评估出处
相关研究问题
自主性 / 持续自主任务 →
该协议明确测量该问题或其使能子能力，结论保留给定条件。
参考文献
- [1] deepseek-v4-pro release ; News article title, dated heading and availability
- [2] deepseek-v4-pro developer model card ; Introduction; model comparison table
- [3] OpenAI — introducing gpt 5 5 ; Publication date and availability section; Parameter counts not disclosed in launch article
- [4] OpenAI — introducing gpt 5 4 mini and nano ; Publication date and availability section; Parameter counts not disclosed in launch article
- [5] Claude Opus 4.6 — Anthropic ; Publication date and availability section; Official launch article; parameter counts not disclosed
- [6] CAISI Evaluation of DeepSeek V4 Pro. 2026-05-01. 1 May 2026 ; Capability Results; Figure 2