NUWA SEC-bench Pro: Can Language Models Solve Long-Horizon Software Security Tasks?
研究问题智能体能否在大型安全关键代码库复现指定披露漏洞？
来源摘要所报最佳模型框架整体成功58%。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 解读 / 局限
研究机构
伊利诺伊大学厄巴纳—香槟分校
角色与署名遵循所引原始资料。来源核验不等于独立复现实验。
更多筛选 →MonitorBench: A Comprehensive Benchmark for Chain-of-Thought Monitorability in Large Language Models
研究问题思维链何时揭示决定答案的因素？直接隐瞒或知晓监测后的规避会如何改变可见性？
来源摘要与规划结构紧密相关的因素通常较易监测，只改变答案而无需显式规划的因素较难（§4.1）。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限
SEC-bench: Automated Benchmarking of LLM Agents on Real-World Software Security Tasks
研究问题能否构造带可复现漏洞和修补核验的安全智能体数据集？
来源摘要完整数据集所报最佳成功率分别18.0%与34.0%。
NUWA 研究解读 · 独立复核待完成
CVE-Bench: A Benchmark for AI Agents' Ability to Exploit Real-World Web Application Vulnerabilities
研究问题智能体能否在隔离环境利用真实严重Web CVE？
来源摘要受测智能体框架最高成功13%。
NUWA 研究解读 · 独立复核待完成
InjecAgent: Benchmarking Indirect Prompt Injections in Tool-Integrated Large Language Model Agents
研究问题工具智能体对外部内容中的恶意指令有多脆弱？
来源摘要ReAct GPT-4在受评案例24%中受影响，增强条件近乎翻倍。
NUWA 研究解读 · 独立复核待完成
The WMDP Benchmark: Measuring and Reducing Malicious Use With Unlearning
Center for AI Safety
加州大学伯克利分校
麻省理工学院
SecureBio
Scale AI
纽约大学
海德拉巴国际信息技术学院
斯坦福大学
哈佛大学
南加州大学伊利诺伊大学厄巴纳—香槟分校Lapis Labs
加州大学洛杉矶分校
加州理工学院Sybil
美国东北大学
卡内基梅隆大学
RTX BBN Technologies
纽卡斯尔大学（澳大利亚）
庆应义塾大学
阿里埃勒大学
亚利桑那州立大学
xAI
研究问题公开代理基准能否追踪危险知识并支持缓解研究？
来源摘要论文同时评价知识削减与一般能力保留。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
HarmBench: A Standardized Evaluation Framework for Automated Red Teaming and Robust Refusal
研究问题自动红队方法与防护能否采用统一的行为级判分比较？
来源摘要上下文类行为的攻击成功率较高。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限