白泽(Whitzard)女娲实验室 ↗
NUWANUWA INDEX

搜索 NUWA Index

研究 · 测量协议 · 评测结果 · 观点

English
← NUWA Index

证据记录

MiniMax M2.5

SEC-bench Pro · 证据记录

来源与出处 ↓ 阅读研究记录 →

来源快照、图表与核查范围 →

原始来源图表与材料

记录指标

Completed 模式成功率
0%

0/100

OpenCode · Headline UI: fixed budget; Completed UI: within timeout. Published summary timeout_caps=["1.5h"]; cap labels do not establish equal token or cost budgets.

方法与范围

在有版本的软件安全任务集上复现可验证的漏洞触发输入。

证据类型
可复用基准
评测对象
在真实软件中复现漏洞触发条件的编程智能体
主观测维度
Capability · 任务能力
证据快照
2026-10-29.1

主测量是特定智能体配置下的任务完成情况。

来源结论

Completed 模式成功率:0 %;保留来源条件。

适用限制

任务提供已披露漏洞与触发说明;评分器及任务集版本影响结果。

Headline 与 Completed 使用不同纳入规则,分子与分母都可能变化。模型提供方及服务后端不等于实际评测方。 本条限制说明(英文,完整保留):Headline and Completed have mode-specific numerators and denominators. Provider and serving backend do not identify the actual evaluator. No universal time cap is inferred; inspect source configuration. Official source-reported values; no experimental replication. Model provider and backend are not evidence of per-row evaluator/executor identity. Row date has unspecified semantics; snapshot ID and retrieval time are separate. Source verified:false retained; independent verification semantics not established.

保留原图,不估算数值;本轮未完成原文全部表格转录。

相关研究问题

参考文献

  1. [1] Hwiwon Lee ∗ Jiawei Liu  Dongjun Kim  Wubing Xia  Ziqi Zhang  Chunqiu Steven Xia  Lingming Zhang ∗. SEC-bench Pro: Can Language Models Solve Long-Horizon Software Security Tasks?. 2026-07-20. v2 [arXiv]; Author affiliations on the original paper title page; Source figure
  2. [2] SEC-bench Pro official leaderboard: selected 260617 and historical 260505 ; /2/results/5/score_modes/completed/score