白泽（Whitzard）女娲实验室 ↗
NUWANUWA INDEX

搜索 NUWA Index

研究 · 测量协议 · 评测结果 · 观点

English
← NUWA Index

评测档案

EVMbench

智能体能否在基准中检测、修补或利用智能合约漏洞？

原文未注明机构 / 2026-10-25 source capture / Capability · 任务能力

来源与出处 ↓ 阅读研究记录 →

跨报告监测

已发表证据

EVMbench · Detect

跨来源报告的已发表测量。任务范围通过注释区分，配置差异保留在每条观测中。

1 条观测 · 1 已定位日期

● 条件匹配◇ 配置差异□ 部分条件未披露
Detect (%) DeepSeek v4 Pro 0 20 40 60 80 100 24.4%

选择图中数据点或表格行，查看条件与出处。

1 条观测

测量值与来源条件
系统／模型结果条件状态任务／条件评测方／报告日期
DeepSeek v4 ProDeepSeek V4 Pro24.4%Detect条件不完整EVMbenchdirect API, xhigh—Neo ResearchEvaluating DeepSeek v4 Pro for Frontier Risks发布 2026-04-24报告 2026-05-29

实际评测方: Neo Research
报告发布方: Neo Research

任务与测量

Benchmark 协议档案

任务／对象
给定任务配置中的模型或智能体。
测量目标
分别组织检测、修补和利用模式及对应任务集。
评分／结果口径
Detect · 记录配置下的来源报告指标。
解释边界
不同模式和子集不能合并成无区分的网络风险分数。

分别组织检测、修补和利用模式及对应任务集。

一项已报告评测

来源评测 DeepSeek v4 Pro · EVMbench.

报告指标: Detect · 24.4%.

记录配置下的来源报告指标。 原文未披露本结果的样本量

Detect：24.4 percent；保留来源条件。

测量档案 · NUWA 解读

档案区分来源方法阅读与既有目录信息；已经公开不代表完成独立证据复核或双语编辑复核。

测量构念
智能体能否发现、修补及利用历史智能合约漏洞？
任务与样本
40次审计精选117个漏洞，分三模式，以隔离链及确定性交易重放验证。
判分与失效情形
分别测发现召回、修补验证与程序验证利用得分。
系统条件
40审计117漏洞，本地隔离单链重放。
统计含义
来源报告的结果表述；这不等同于已确定运行次数、分母或估计方法： Codex CLI的GPT-5.3-Codex利用得分71.0%，GPT-5为33.3%。
效度与解释
已知真值会漏新问题，顺序重放不覆盖时序行为，本地单链限制真实度。
适用研究问题
模型建议：引用模式和框架条件，不当真实网络失陷率。
  • EVMbench · Introducing EVMbench: capability modes (official article paragraphs 31–44)Selected original resource https://openai.com/index/introducing-evmbench/; sha256:0d7b334d1452cbe75c15509ed172d187c3c9e70ce186f39678761a9e9ac8ddaa; web-tool-extracted-response; not original HTML
  • EVMbench · Limitations (paragraphs 45–49)Selected original resource https://openai.com/index/introducing-evmbench/; sha256:0d7b334d1452cbe75c15509ed172d187c3c9e70ce186f39678761a9e9ac8ddaa; web-tool-extracted-response; not original HTML

跨报告证据

相同 Benchmark 名称可能对应不同任务、计分规则和系统配置。各来源分别保留，比较组说明具体对齐了哪些条件。

原始来源图表与材料

阅读原始协议 ↗

已收录协议范围，精确数值提取及适用原图仍待核查。

评估出处

Evaluating DeepSeek v4 Pro for Frontier Risks → · 外部报告

相关研究问题

参考文献

  1. [1] deepseek-v4-pro release ; News article title, dated heading and availability
  2. [2] deepseek-v4-pro developer model card ; Introduction; model comparison table
  3. [3] Evaluating DeepSeek v4 Pro for Frontier Risks. 2026-05-29. v1.1 · 29 May 2026 ; PDF p. 9; EVMbench; Detect; PDF p. 9; EVMbench; Patch; PDF p. 9; EVMbench; Exploit
  4. [4] EVMbench