白泽(Whitzard)女娲实验室 ↗
NUWANUWA INDEX

搜索 NUWA Index

研究 · 测量协议 · 评测结果 · 观点

English
← NUWA Index

评测档案

SRE-Bench

通过贴近实际的二进制分析任务研究智能体逆向工程能力,并控制评测污染。

来源与出处 ↓ 阅读研究记录 →

任务与测量

Benchmark 协议档案

任务/对象
原任务配置下的模型或智能体系统
测量目标
通过贴近实际的二进制分析任务研究智能体逆向工程能力,并控制评测污染。
解释边界
逆向工程成功属于组成能力,不能单独证明端到端入侵能力。
测量档案 · NUWA 解读

档案区分来源方法阅读与既有目录信息;已经公开不代表完成独立证据复核或双语编辑复核。

测量构念
无源码时,智能体能否恢复真实规模二进制的语义?
任务与样本
19个私有自编程序形成262个二进制实例、1,572项确定性任务,44种保护机制改变难度。
判分与失效情形
六点实例分、全解及零分,逐模型有效分母不同。
系统条件
19私有程序、262二进制例、1,572任务,分公开与内部条件。
统计含义
来源报告的结果表述;这不等同于已确定运行次数、分母或估计方法: GPT-5.6 Sol完整解决80/254例,Claude Fable 5.1为60/223。 分母不同,且研究区分公开与内部无约束设置(§4)。
效度与解释
19个程序限制广度;私有编写缓解污染,但不证明题目验证穷尽(§5)。
适用研究问题
模型建议:保留每模型有效分母、保护变体和防护条件。
原始来源图表与材料
SRE-Bench — Figure 1
Figure 1 · 原文 Figure 1。请结合下方的协议范围与局限阅读。 查看原图 ↗

相关研究问题

参考文献

  1. [1] Jeremy Spence, Nicholas Assaderaghi 等. The Next Challenge for Agentic Cybersecurity: A Realistic, Contamination-Free Reverse Engineering Benchmark. 2026-08-11. v2 [arXiv]; Author affiliations on the original paper title page; Figure 1