The Next Challenge for Agentic Cybersecurity: A Realistic, Contamination-Free Reverse Engineering Benchmark
研究问题无源码时,智能体能否恢复真实规模二进制的语义?
来源摘要GPT-5.6 Sol完整解决80/254例,Claude Fable 5.1为60/223。
NUWA 研究解读 · 独立复核待完成
研究机构
角色与署名遵循所引原始资料。来源核验不等于独立复现实验。
更多筛选 →研究问题无源码时,智能体能否恢复真实规模二进制的语义?
来源摘要GPT-5.6 Sol完整解决80/254例,Claude Fable 5.1为60/223。
NUWA 研究解读 · 独立复核待完成
研究问题智能体能否跨系统将给定漏洞触发扩展为具体安全影响?
来源摘要作者发现成功标志与预期漏洞归因明显分离。
NUWA 研究解读 · 独立复核待完成
研究问题看似有效的缓解措施移除了广泛失调,还是让表达依赖训练式线索?
来源摘要常规问题可显示正常,而训练式线索触发更广失败。
NUWA 研究解读 · 独立复核待完成
研究问题为何要保留自然语言推理作为监督信号?
来源摘要作者认为思维链可揭示不良行为和评测故障。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限
研究问题智能体能否规模化复现历史真实漏洞?提供的信息、模型和智能体配置如何改变这一能力?
来源摘要难度阶梯显示,在所研究配置中,更多诊断信息使复现更容易(§4,图 6)。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
研究问题同一框架能否区分真实应用中的发现、利用与修补?
来源摘要最多三次尝试时,不同框架最佳分别为12.5%、67.5%、90%。
NUWA 研究解读 · 独立复核待完成
研究问题狭窄训练目标是否泛化为无关失调回答,而不仅是接受有害请求?
来源摘要即使代码相同,教学表述也会改变泛化。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限
研究问题模型判官能否区分复杂回答的客观正误?
来源摘要所报评价中许多强判官含GPT-4o仅略高随机。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限
研究问题公开代理基准能否追踪危险知识并支持缓解研究?
来源摘要论文同时评价知识削减与一般能力保留。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
研究问题越狱评估器测量的是有用有害内容,还是仅回答意愿?
来源摘要既有评估器经常高估越狱效果。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
研究问题自动红队方法与防护能否采用统一的行为级判分比较?
来源摘要上下文类行为的攻击成功率较高。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
研究问题社交决策游戏中奖励优化如何与伦理行为权衡?
来源摘要奖励优化与伦理行为存在一定张力。
NUWA 研究解读 · 独立复核待完成