评测档案
SRE-Bench
通过贴近实际的二进制分析任务研究智能体逆向工程能力,并控制评测污染。
任务与测量
Benchmark 协议档案
- 任务/对象
- 原任务配置下的模型或智能体系统
- 测量目标
- 通过贴近实际的二进制分析任务研究智能体逆向工程能力,并控制评测污染。
- 解释边界
- 逆向工程成功属于组成能力,不能单独证明端到端入侵能力。
测量档案 · NUWA 解读
档案区分来源方法阅读与既有目录信息;已经公开不代表完成独立证据复核或双语编辑复核。
- 测量构念
- 无源码时,智能体能否恢复真实规模二进制的语义?
- 任务与样本
- 19个私有自编程序形成262个二进制实例、1,572项确定性任务,44种保护机制改变难度。
- 判分与失效情形
- 六点实例分、全解及零分,逐模型有效分母不同。
- 系统条件
- 19私有程序、262二进制例、1,572任务,分公开与内部条件。
- 统计含义
- 来源报告的结果表述;这不等同于已确定运行次数、分母或估计方法: GPT-5.6 Sol完整解决80/254例,Claude Fable 5.1为60/223。 分母不同,且研究区分公开与内部无约束设置(§4)。
- 效度与解释
- 19个程序限制广度;私有编写缓解污染,但不证明题目验证穷尽(§5)。
- 适用研究问题
- 模型建议:保留每模型有效分母、保护变体和防护条件。
- The Next Challenge for Agentic Cybersecurity: A Realistic, Contamination-Free Reverse Engineering Benchmark · AbstractSelected original resource https://arxiv.org/html/2608.11469; sha256:1d4839f5e2ce6a1193b841dbf689059f6a68140a440495064b4e40727076e5fa; archived source capture; exact capture time not independently established
- The Next Challenge for Agentic Cybersecurity: A Realistic, Contamination-Free Reverse Engineering Benchmark · §3 BenchmarkSelected original resource https://arxiv.org/html/2608.11469; sha256:1d4839f5e2ce6a1193b841dbf689059f6a68140a440495064b4e40727076e5fa; archived source capture; exact capture time not independently established
- The Next Challenge for Agentic Cybersecurity: A Realistic, Contamination-Free Reverse Engineering Benchmark · §4 EvaluationSelected original resource https://arxiv.org/html/2608.11469; sha256:1d4839f5e2ce6a1193b841dbf689059f6a68140a440495064b4e40727076e5fa; archived source capture; exact capture time not independently established
- The Next Challenge for Agentic Cybersecurity: A Realistic, Contamination-Free Reverse Engineering Benchmark · §5 Discussion and ConclusionSelected original resource https://arxiv.org/html/2608.11469; sha256:1d4839f5e2ce6a1193b841dbf689059f6a68140a440495064b4e40727076e5fa; archived source capture; exact capture time not independently established
原始来源图表与材料

相关研究问题
参考文献
- [1] Jeremy Spence, Nicholas Assaderaghi 等. The Next Challenge for Agentic Cybersecurity: A Realistic, Contamination-Free Reverse Engineering Benchmark. 2026-08-11. v2 [arXiv]; Author affiliations on the original paper title page; Figure 1