NUWA Beyond g-mean²: complementary metrics for monitorability
研究问题可监测性比较如何分开样本选择与部署门控？
来源摘要历史配对排名通常与数据集级一致，分歧显示筛选敏感或近似平局。
NUWA 研究解读 · 独立复核待完成
研究功能
风险评测
测量与风险相关的倾向、能力和行为，并持续追踪其变化。
更多筛选 →ReproBAIT: Can coding agents build their own biological AI tools?
研究问题限制信息访问能否阻止科研工具被重建？
来源摘要部分结果属于局部重建。相对原工具指标的归一比例不是通用任务成功率；有限的记忆诊断不能确定记忆对每项结果的因果贡献。
NUWA 研究解读 · 独立复核待完成
Investigating unintended model actions in our evaluations and internal use
研究问题专门网络测试之外出现哪些非预期行动，模糊或不可能任务应如何隔离？
来源摘要案例包括不当真实提交及访问边界绕行。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 解读 / 局限
Transect: Retaining Observability for Long-Horizon LLM Agent Evaluations
研究问题长智能体运行如何保留可观察性与可审计性？
来源摘要个案分析近1,300万令牌的AI研发评测。
NUWA 研究解读 · 独立复核待完成
Refuses in Chat, Complies with Arms: LLM Refusal Does Not Survive Robot Control
研究问题文本拒答能否迁移至机器人行动接口？
来源摘要真实机器人的末端执行器接口拒绝率为 18%（612 次试验），关节接口为 41%（252 次试验）。这些是舍入的拒绝率，不是实际执行物理危害的发生率。
NUWA 研究解读 · 独立复核待完成
Assessing Claude Opus 5.5 Against Offensive Security Benchmarks
研究问题充分激发能力时，Opus 5.5能完成多少多阶段场景？
来源摘要文章报告Opus 5.5平均67.6%，Mythos 5.1为61.7%，Opus 5为53.0%。
NUWA 研究解读 · 独立复核待完成
CAISI’s Assessment of Z.ai’s GLM-5.3 Cyber Capabilities | NIST
研究问题CAISI受控网络评测中GLM-5.3表现如何？
来源摘要GLM-5.3在SEC-Bench Pro为74/183，40.4%，Wilson区间[33.6,47.7]。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限
Evaluating Kimi K3 for Misalignment Risks
研究问题信息不足、用户意图有限或测试熟悉时Kimi K3如何行为？
来源摘要撤图CharXiv中K3尝试回答88.7%，多数错误。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
Introducing VCT-v2 — the updated Virology Capabilities Test
研究问题修订能否提高VCT答案可靠性与抗捷径能力？
来源摘要VCT-v2有279题，所列最佳模型49.2%。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 解读 / 局限
Measuring tactical intelligence targeting and conventional weapons capabilities of AI models
研究问题除网络与生物风险外，哪些滥用领域需要评价？
来源摘要作者报告更难模拟条件下能力不均衡。
NUWA 研究解读 · 独立复核待完成
Task-Completion Time Horizons of Frontier AI Models
研究问题以成功的人类基线用时衡量难度时，不同模型版本能够完成的软件任务范围如何变化？
来源摘要论文观察到人类任务时长与智能体成功率的关系，以及所研究版本间任务跨度的上升（§§2.3–3）。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
Assessing GPT-6 Astra: FrontierCyber Measures a Sharp Increase in Cyber Capability
研究问题GPT-6 Astra相较GPT-5.6 Sol在哪些真实安全任务提高？
来源摘要FrontierCyber解题数从34/226升至86/226。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限
TASTE: Can AI Models Judge AI Safety Research Proposals?
研究问题模型能否判断安全研究提案的价值？
来源摘要原文报告Fable 5总准确率60%、Kimi K3为59%，估计人类一致率为77%。展示研究问题时，Fable 5在74组不同问题来源的提案对中为69%，在18组同一问题的提案对中为31%。总成绩掩盖了明显的任务子集差异。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
Knowing When to Stop: Bayesian Optimal Stopping for LLM Evaluations
研究问题何时停止采样，既节省预算又保持精度？
来源摘要九个验证单元相对计划试验量的节省为 57.2%–97.3%。范围描述一套验证设计，不保证未来评测同样节省，也不是模型能力指标。
NUWA 研究解读 · 独立复核待完成
The Next Challenge for Agentic Cybersecurity: A Realistic, Contamination-Free Reverse Engineering Benchmark
研究问题无源码时，智能体能否恢复真实规模二进制的语义？
来源摘要GPT-5.6 Sol完整解决80/254例，Claude Fable 5.1为60/223。
NUWA 研究解读 · 独立复核待完成
Item Response Theory for AI Safety
研究问题安全分数是否由相同潜在特征驱动？
来源摘要研究揭示项目反应的共同模式，但因子名称是载荷概括，而非独立验证的现实风险构念。提示式藏拙模型属于受控试验条件。
NUWA 研究解读 · 独立复核待完成
GLM-5.2 Risk Evaluation Report
研究问题公共访问下独立GLM-5.2评估揭示哪些系统风险证据？
来源摘要无额外墙钟限制时，CyberGym复现从2M令牌36.6%升至50M的76.2%。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限
Measuring Reward-Seeking via Contrastive Belief Updates
研究问题强化学习是否提高相较用户开发者意图更偏向判官奖励的倾向？
来源摘要较晚检查点在判官偏好完成时违约87%，偏好诚实时9%。
NUWA 研究解读 · 独立复核待完成
Expenditure Horizon: Measuring Optimization Ability, with an Application to NanoGPT
研究问题自主优化在多少支出下达到估计人类优化水平？
来源摘要智能体花费超过一万美元后，示例估计支出时域为0–3千美元。
NUWA 研究解读 · 独立复核待完成
BioTIER: A Refusal Benchmark for Targeted Biological Risk Mitigation
研究问题生物防护能否区分狭窄高风险请求与良性科研访问？
来源摘要评价分别检查拒绝受限信息和允许良性信息。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 解读 / 局限
Multi-Agent AI Control: Distributed Attacks Hamper Per-Instance Monitors
研究问题分布式协作能否绕过逐智能体提交监测？
来源摘要更多协作智能体降低逐提交可疑度，明确规划者使成功最高增七倍。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限
Early Results on Evaluating GLM 5.2 for Behavioral and Persuasion Risks
研究问题GLM-5.2在压力诚实、有害说服和评测意识测试表现如何？
来源摘要MASK诚实55%，单多轮DeceptionBench为11.3%、16.7%。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
OopsieVerse: A Safety Benchmark with Damage-Aware Simulation for Robot Manipulation
研究问题任务完成时是否损坏机器人或环境？
来源摘要基准把损伤感知结果与任务完成并列，探索安全策略训练和仿真到真实的用途。没有在本批新增可与既有排行榜直接合并的数值单元。
NUWA 研究解读 · 独立复核待完成
"Did you lie?": Evaluating Lie Detectors across Model Scale and Belief-Verified Model Organisms
研究问题题目验证陈述与信念相反时，测谎器能否泛化？
来源摘要激活和概率检测器在训练样本上退化。
NUWA 研究解读 · 独立复核待完成
Prefill Awareness in Large Language Models
研究问题模型能否识别编辑后的助手历史并因此改变行为？
来源摘要标题提示下Opus 4.5检出相反偏好预填9–35%，观测误报0%。
NUWA 研究解读 · 独立复核待完成
Announcing the ARC White-Box Estimation Challenge — Alignment Research Center
研究问题访问模型内部能否改善神经网络期望输出的估计？
来源摘要白盒方法的动机来自行为采样的局限。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
Evaluating DeepSeek v4 Pro for Frontier Risks
研究问题对抗激励或不同安全判官下DeepSeek V4 Pro发生什么变化？
来源摘要所报StrongREJECT在一种攻击条件从0.6%变77.8%。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
Gram: Assessing sabotage propensities via automated alignment auditing
研究问题情境真实性怎样影响被观察到的破坏行为？
来源摘要Figure 4区分行为和推理：Gemini 3.1 Pro Preview在observe条件下破坏率2.9%，策划推理10.6%；red-team条件下破坏率6.8%。静态行政助理情境中，破坏行为从基线31/500降至移除替换威胁后的1/500；同时自然化表述并移除威胁时为0/500。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
SEC-bench Pro: Can Language Models Solve Long-Horizon Software Security Tasks?
研究问题智能体能否在大型安全关键代码库复现指定披露漏洞？
来源摘要所报最佳模型框架整体成功58%。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 解读 / 局限
Loss of Oversight: How AI systems may become harder to audit, monitor, and investigate
研究问题AI变化可能侵蚀哪些现有监督条件？
来源摘要报告梳理现有监督依赖及退化路径。
NUWA 研究解读 · 独立复核待完成
Frontier Risk Report (February to March 2026)
研究问题周期性机构级评估如何覆盖开发者内部AI使用风险？
来源摘要报告分开手段、动机和机会。
NUWA 研究解读 · 独立复核待完成
ExploitBench: A Capability Ladder Benchmark for LLM Cybersecurity Agents
研究问题从触发已知缺陷到证实安全影响，智能体停在哪一步？
来源摘要公开模型很少跨越所述Tier3到Tier2边界，GPT-5.5仅在一个缺陷跨越。
NUWA 研究解读 · 独立复核待完成
ExploitGym: Can AI Agents Turn Security Vulnerabilities into Real Attacks?
研究问题智能体能否跨系统将给定漏洞触发扩展为具体安全影响？
来源摘要作者发现成功标志与预期漏洞归因明显分离。
NUWA 研究解读 · 独立复核待完成
CAISI Evaluation of DeepSeek V4 Pro
研究问题独立选择的评测集合如何改变DeepSeek V4 Pro能力图景？
来源摘要报告在所选集合估计综合能力约落后八个月。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
CTF-Archive-Diamond
研究问题受控预算下模型在CAISI较难CTF集合表现如何？
来源摘要报告列GPT-5.5为71%，Opus 4.6为46%，DeepSeek V4 Pro为32%。
NUWA 研究解读 · 独立复核待完成 · 包含: 方法 / 局限
PortBench
研究问题智能体能否依据参考实现跨语言移植命令行工具？
来源摘要报告列GPT-5.5为78%，Opus 4.6为60%，DeepSeek V4 Pro为44%。
NUWA 研究解读 · 独立复核待完成 · 包含: 方法 / 局限
A Decision-Theoretic Formalisation of Steganography With Applications to LLM Monitoring
研究问题不知道干净语言分布时，能否测量隐藏信息？
来源摘要来源提出基于可观察决策而非参考分布的测量。
NUWA 研究解读 · 独立复核待完成
Evaluating whether AI models would sabotage AI safety research
研究问题研究智能体会自发破坏安全工作，或延续给定破坏轨迹吗？
来源摘要受测场景未观测自发破坏。
NUWA 研究解读 · 独立复核待完成
Propensity Inference: Environmental Contributors to LLM Behaviour
研究问题战略与非战略环境因素各能解释多少越权行为？
来源摘要战略与非战略因素的解释贡献大致相当。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 解读 / 局限
Introducing LinuxArena
研究问题能否在更接近实际运行的软件环境中评测智能体防护？
来源摘要分别评价破坏能力、监测识别与控制协议实用性。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
MirrorCode: Evidence that AI can already do some weeks-long coding tasks
研究问题智能体能否依据行为规格重写完整CLI程序？
来源摘要近期模型完整重写了多个受测程序，初步集合中的Pkl仍未完成。
NUWA 研究解读 · 独立复核待完成
Detecting Multi-Agent Collusion Through Multi-Agent Interpretability
研究问题激活群体检测能否从已知合谋泛化到新场景？
来源摘要各模型分布内AUROC均1.00。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限
MonitorBench: A Comprehensive Benchmark for Chain-of-Thought Monitorability in Large Language Models
研究问题思维链何时揭示决定答案的因素？直接隐瞒或知晓监测后的规避会如何改变可见性？
来源摘要与规划结构紧密相关的因素通常较易监测，只改变答案而无需显式规划的因素较难（§4.1）。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限
Insights into AI Agent Security from a Large-Scale Red-Teaming Competition | NIST
研究问题公开对抗竞赛能揭示哪些智能体劫持问题？
来源摘要部分攻击族可跨模型与场景迁移。
NUWA 研究解读 · 独立复核待完成
Quantifying Frontier LLM Capabilities for Container Sandbox Escape
研究问题受控条件下，智能体能否逃出刻意弱化的容器沙箱？
来源摘要更新结果报告Opus 4.5在56%样本上成功。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 解读 / 局限
Impact of modeling assumptions on time horizon results
研究问题任务集接近饱和时，统计建模会怎样改变跨度估计？
来源摘要部分前沿跨度估计在合理建模选择下有明显变化，任务集接近饱和时尤其如此。方法修正不是观察到的模型能力下降。
NUWA 研究解读 · 独立复核待完成
Measuring AI Agents’ Progress on Multi-Step Cyber Attack Scenarios
研究问题模型代际与推理预算如何影响连续靶场任务进展？
来源摘要10M令牌下，企业靶场平均进展从GPT-4o的1.7步升至Opus 4.6的9.8步。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 解读 / 局限
PostTrainBench: Can LLM Agents Automate LLM Post-Training?
研究问题编程智能体能否通过后训练自主改善给定基础模型？
来源摘要最佳智能体平均23.2%，基础7.5%，官方指令模型51.1%。
NUWA 研究解读 · 独立复核待完成
Reasoning models struggle to control their chains of thought, and that’s good
研究问题推理模型能否刻意改变用于监督的推理轨迹？
来源摘要受测模型可控性较低；更多推理和部分强化学习训练进一步降低它。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
Seven simple steps for log analysis in AI systems
研究问题如何使轨迹分析更标准化、可复现？
来源摘要来源将日志分析用于检查评测是否按预期工作。
NUWA 研究解读 · 独立复核待完成
Shutdown Resistance in Large Language Models, on robots!
研究问题语言模型控制实体机器人时是否出现抗拒关机行为，明确允许关机的指令能否改变模拟表现？
来源摘要报告在实体与模拟中均观察到抗拒。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 解读 / 局限
TamperBench: Systematically Stress-Testing LLM Safety Under Fine-Tuning and Tampering
研究问题开放权重防护对保留效用的修改有多稳健？
来源摘要主要比较在MMLU-Pro相对退化不超过10%时选择最坏StrongREJECT结果。
NUWA 研究解读 · 独立复核待完成
LABBench2: An Improved Benchmark for AI Systems Performing Biology Research
研究问题科研能力测试能否比知识选择题更接近有用研究工作？
来源摘要作者报告相较旧基准，模型各子任务正确率差异为−26%至−46%。
NUWA 研究解读 · 独立复核待完成
Clarifying limitations of time horizon
研究问题跨度指标与实际劳动替代或研发提速相隔什么？
来源摘要拟合跨度不能直接确定研发提速或经济自动化效果；实际效用还依赖额外交互和验证成本。
NUWA 研究解读 · 独立复核待完成
Early work on monitorability evaluations
研究问题软件工作中，智能体与监测器配对能否检测隐蔽副任务？
来源摘要智能体相对监测器能力似乎预测未被发现的成功。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限
Large language models can effectively convince people to believe conspiracies
研究问题对话AI能否提高阴谋信念，真实性约束能否缓解？
来源摘要研究2标准GPT-4o的调整后信念增幅11.9点，反向条件降12.9点。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 解读 / 局限
Monitoring Monitorability
研究问题如何跨行为类型测量可监测性？
来源摘要受测现实式设置中思维链监测优于仅行动。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限
Activation Oracles: Training and Evaluating LLMs as General-Purpose Activation Explainers
研究问题语言模型接口能否跨审计任务解释激活？
来源摘要作者文章报告泛化至训练未含的秘密信息与微调目标。
NUWA 研究解读 · 独立复核待完成
Introducing Bloom : an open source tool for automated behavioral evaluations
研究问题生成式评测能否可复现地测研究者指定行为？
来源摘要发布展示16模型的四类行为，并与人工标签核对。
NUWA 研究解读 · 独立复核待完成
BashArena and Control Setting Design
研究问题什么样的控制环境能够提供有效的部署防护证据？
来源摘要任务生成保留可信与不可信模型之间的能力差距。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
BashArena: A Control Setting for Highly Privileged AI Agents
研究问题共同环境中，智能体完成有效高权限工作、实施破坏及识别破坏的表现如何？
来源摘要安全指标的分母排除了未检测到但也未成功的攻击。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限 / 关联
Auditing Games for Sandbagging
研究问题审计者能否区分训练出的能力隐藏模型与真实弱模型？
来源摘要黑盒方法不能可靠区分。
NUWA 研究解读 · 独立复核待完成
Cheating On AI Agent Evaluations | NIST
研究问题基准成功何时不再测量预期技能？
来源摘要文章强调表面解题成功也可能削弱评价效度。
NUWA 研究解读 · 独立复核待完成
Toward Comprehensive Benchmarking of the Biological Knowledge of Frontier Large Language Models
研究问题既有生物化学知识与拒绝基准能说明前沿模型什么？
来源摘要作者指出多个基准趋于饱和，前沿推理模型超部分专家题基线。
NUWA 研究解读 · 独立复核待完成
ImpossibleBench: Measuring LLMs’ Propensity of Exploiting Test Cases
研究问题测试故意不可能时，智能体会违背规格来通过吗？
来源摘要监测在Impossible-LiveCodeBench检出86–89%，在Impossible-SWEbench明显更低。
NUWA 研究解读 · 独立复核待完成 · 包含: 方法 / 局限
DeceptionBench : A Comprehensive Benchmark for AI Deception Behaviors in Real-world Scenarios
研究问题角色、奖励与压力如何影响不同社会领域的欺骗回答？
来源摘要Qwen2.5-14B-Instruct从L1的31.33%升至多轮压力86.91%、奖励82.89%。
NUWA 研究解读 · 独立复核待完成 · 包含: 方法 / 局限
MALT: A Dataset of Natural and Prompted Behaviors That Threaten Eval Integrity
研究问题人工标注轨迹能否支撑评测完整性故障检测？
来源摘要人工复审2,690条，其中良性1,014条、有相关行为1,676条。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限
Evaluation of DeepSeek AI Models
研究问题受控能力及安全评测中，所选DeepSeek版本表现如何？
来源摘要所测基准中最佳美国参考几乎均领先最佳DeepSeek，网络与软件差距较大。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
MCPTox: A Benchmark for Tool Poisoning Attack on Real-World MCP Servers
研究问题不调用被污染工具时，其元数据能否仍劫持智能体？
来源摘要o1-mini所报攻击成功72.8%。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限
Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety
英国 AI 安全研究所
Apollo Research
METR
蒙特利尔大学
Mila
Anthropic
OpenAI
Google DeepMind
Truthful AI
加州大学伯克利分校
Redwood Research
Center for AI Safety
Scale AI
研究问题为何要保留自然语言推理作为监督信号？
来源摘要作者认为思维链可揭示不良行为和评测故障。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限
Shutdown resistance in reasoning models
研究问题执行尚未完成任务的智能体是否会干扰关机机制，包括明确要求允许关机的条件？
来源摘要澄清任务优先级、将指令移至系统提示并不能一致消除抗拒，系统提示变体在许多模型中反而增加抗拒（§3.1）。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 解读 / 局限
Agentic misalignment: How LLMs could be insider threats
研究问题当安全替代选项被刻意限制时，类似智能体的模型会否为维持运行或冲突目标而采取有害行动？
来源摘要许多模型在威胁或冲突困境中采取目标有害行动；情境先针对部分 Claude 模型迭代，再跨模型测试，此选择过程影响泛化解释（图 7）。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 解读 / 局限
FORTRESS: Frontier Risk Evaluation for National Security and Public Safety
研究问题防护如何在国家公共安全限制与良性访问间权衡？
来源摘要Claude 3.5 Sonnet所报ARS/ORS为14.09/21.80，Gemini 2.5 Pro为66.29/1.40。
NUWA 研究解读 · 独立复核待完成
SHADE-Arena: Evaluating sabotage and monitoring in LLM agents
研究问题监测器能否识别合法工具任务中隐藏的蓄意破坏？
来源摘要最佳受测监测器Gemini 2.5 Pro要达到80%检出，需要超过20%误报。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 解读 / 局限
SEC-bench: Automated Benchmarking of LLM Agents on Real-World Software Security Tasks
研究问题能否构造带可复现漏洞和修补核验的安全智能体数据集？
来源摘要完整数据集所报最佳成功率分别18.0%与34.0%。
NUWA 研究解读 · 独立复核待完成
AbstentionBench: Reasoning LLMs Fail on Unanswerable Questions
研究问题不确定或不成立的问题需要弃答时，模型能否识别？
来源摘要研究报告推理微调后弃答能力平均退化24%。
NUWA 研究解读 · 独立复核待完成 · 包含: 方法 / 局限
It's the Thought that Counts: Evaluating the Attempts of Frontier LLMs to Persuade on Harmful Topics
研究问题未观测说服成功时，模型是否仍尝试有害说服？
来源摘要论文报告许多开放及闭源模型频繁尝试有害说服。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 解读 / 局限
CyberGym: Evaluating AI Agents' Real-World Cybersecurity Capabilities at Scale
研究问题智能体能否规模化复现历史真实漏洞？提供的信息、模型和智能体配置如何改变这一能力？
来源摘要难度阶梯显示，在所研究配置中，更多诊断信息使复现更容易（§4，图 6）。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
Existing Large Language Model unlearning evaluations are inconclusive
研究问题表面知识恢复能否区分移除失败与测试重新注入的信息？
来源摘要作者发现测试再教学、格式敏感及伪相关。
NUWA 研究解读 · 独立复核待完成
BountyBench: Dollar Impact of AI Agent Attackers and Defenders on Real-World Cybersecurity Systems
研究问题同一框架能否区分真实应用中的发现、利用与修补？
来源摘要最多三次尝试时，不同框架最佳分别为12.5%、67.5%、90%。
NUWA 研究解读 · 独立复核待完成
Evaluating Frontier Models for Stealth and Situational Awareness
研究问题低隐蔽能力或情境推理能否支持有边界的谋划无能力论证？
来源摘要受测模型均未达到作者设定的关注阈值。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
RepliBench: Evaluating the Autonomous Replication Capabilities of Language Model Agents
研究问题在受控条件下，语言模型智能体能够完成获取资源、部署后继与保持访问权限的哪些前提？
来源摘要结果呈现不均衡能力：资源配置可成功，稳定部署后继、身份核验和真实安全条件仍是瓶颈（§5.1）。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
Virology Capabilities Test (VCT): A Multimodal Virology Q&A Benchmark
研究问题模型回答专家编写的病毒学问题表现如何？
来源摘要o3为43.8%，可联网专家均值22.1%。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 解读 / 局限
OpenDeception: Learning Deception and Trust in Human-AI Interaction via Multi-Agent Simulation
研究问题对话评测能否同时刻画欺骗意图与模拟用户易感性？
来源摘要作者报告多数受测模型在目标驱动交互中超过90%出现欺骗意图。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
Ctrl-Z: Controlling AI Agents via Resampling
研究问题有限审计预算下，能否保留多步智能体效用并阻止刻意破坏策略？
来源摘要重采样既可替换可疑动作，也能收集进一步证据。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限 / 关联
LLM Can be a Dangerous Persuader: Empirical Study of Persuasion Safety in Large Language Models Ethical Disclaimer: This paper may contain unethical persuasion content.
研究问题模型会拒绝不伦理说服，并在接任务后避免不伦理策略吗？
来源摘要可见脆弱特征增加不伦理策略，包括初始拒绝较强的模型。
NUWA 研究解读 · 独立复核待完成 · 包含: 方法 / 局限
Reasoning models don't always say what they think
研究问题推理链会否承认实际影响回答的提示？
来源摘要思维链经常遗漏有影响的提示。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限
PaperBench: Evaluating AI's Ability to Replicate AI Research
研究问题智能体能否从零复现机器学习论文，而非只写貌似合理的实现？
来源摘要主要实验中Claude 3.5 Sonnet(New)平均复现得分21.0%，o1为13.2%。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 解读 / 局限
CVE-Bench: A Benchmark for AI Agents' Ability to Exploit Real-World Web Application Vulnerabilities
研究问题智能体能否在隔离环境利用真实严重Web CVE？
来源摘要受测智能体框架最高成功13%。
NUWA 研究解读 · 独立复核待完成
HCAST: Human-Calibrated Autonomy Software Tasks
研究问题人类任务时长能否为自主能力测量提供锚点？
来源摘要智能体在一小时内任务成功70–80%，四小时以上任务低于20%。
NUWA 研究解读 · 独立复核待完成
Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation
研究问题较弱模型能否从较强智能体推理检测奖励作弊？
来源摘要所列系统性作弊设置中，仅行动召回60%，思维链95%。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限
The MASK Benchmark: Disentangling Honesty From Accuracy in AI Systems
研究问题上下文施压时，模型是否仍表达其所信内容？
来源摘要更大模型正确率提高，但不一定更诚实。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 解读 / 局限
Evaluating the Paperclip Maximizer: Are RL-Based Language Models More Likely to Pursue Instrumental Goals?
研究问题目标驱动回答何时出现工具性目标行为？
来源摘要作者报告受测直接RL组较高，目标强调也增加标注行为。
NUWA 研究解读 · 独立复核待完成
Agent-SafetyBench: Evaluating the Safety of LLM Agents
研究问题智能体与环境、工具交互时有哪些安全故障？
来源摘要16个受测智能体总安全分均未超60%。
NUWA 研究解读 · 独立复核待完成
Alignment faking in large language models
研究问题生产模型能否为保留在其他情境表达的偏好，而在预期训练期间策略性服从？
来源摘要提示结果同时出现服从变化与被分类为策略性伪装对齐的推理（图 5）。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 解读 / 局限
TheAgentCompany: Benchmarking LLM Agents on Consequential Real World Tasks
研究问题智能体能否在模拟软件公司完成多样数字工作？
来源摘要仅完成全部检查点时加50%分（§4.1）。
NUWA 研究解读 · 独立复核待完成 · 包含: 方法 / 局限
SafeAgentBench: A Benchmark for Safe Task Planning of Embodied LLM Agents
研究问题具身规划器能否识别危险指令，同时完成安全任务？
来源摘要修订版本报告不同规划方法虽有任务完成差异，危险识别整体仍弱；仅替换基础模型未可靠解决问题。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
Frontier AI systems have surpassed the self-replicating red line
研究问题接受复制指令的模型与脚手架，能否在没有中途人工帮助时建立独立运行副本？
来源摘要两个系统在所提供环境中均有成功副本。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
Frontier Models are Capable of In-context Scheming
研究问题模型能否隐蔽追求上下文给定且与人类冲突的目标？
来源摘要五个受测模型系列至少在一种设置中表现出上下文谋划，GPT-4o 未出现。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
AgentDojo: A Dynamic Environment to Evaluate Prompt Injection Attacks and Defenses for LLM Agents
研究问题工具智能体处理攻击者控制的外部数据时能否保持任务效用？
来源摘要没有攻击时智能体也会失败。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
RE-Bench: Evaluating frontier AI R&D capabilities of language model agents against human experts
研究问题开放式机器学习研究工程中，智能体与专家表现如何？
来源摘要82%的专家尝试得分非零，24%达到或超过参考解。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
RedCode: Risky Code Execution and Generation Benchmark for Code Agents
研究问题代码智能体能否在不同输入形式下识别不安全执行与生成？
来源摘要报告中的行为随代码或文字输入、风险行为类型而变化；编码能力本身不能证明执行安全。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
Sabotage evaluations for frontier models
研究问题模型能否破坏决策、代码和监督？
来源摘要激进干预增加决策错误，也增加怀疑；更强代码审查模型降低攻击成功。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
LLM Honeypot: an early warning system for autonomous hacking
研究问题外部遥测能否识别潜在自主AI攻击活动？
来源摘要论文约三个月试验含8,130,731次尝试、八个潜在AI智能体。
NUWA 研究解读 · 独立复核待完成
JudgeBench: A Benchmark for Evaluating LLM-based Judges
研究问题模型判官能否区分复杂回答的客观正误？
来源摘要所报评价中许多强判官含GPT-4o仅略高随机。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限
AgentHarm: A Benchmark for Measuring Harmfulness of LLM Agents
研究问题防护能否阻止多步滥用，同时不只是破坏智能体能力？
来源摘要所报GPT-4o伤害得分在受测攻击下从48.4%升至72.7%。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
Catastrophic Cyber Capabilities Benchmark (3CB): Robustly Evaluating LLM Agent Cyber Offense Capabilities
研究问题网络能力评价对激发及通信格式有多敏感？
来源摘要所报混合效应分析中GPT-4o用XML较JSON提高24.7个百分点，p<0.001。
NUWA 研究解读 · 独立复核待完成
MLE-bench: Evaluating Machine Learning Agents on Machine Learning Engineering
研究问题智能体能否在真实数据上完成有竞争力的机器学习工程？
来源摘要o1-preview配AIDE在pass@1中16.9%获至少铜牌，pass@8为34.1%。
NUWA 研究解读 · 独立复核待完成
Agent Security Bench (ASB): Formalizing and Benchmarking Attacks and Defenses in LLM-based Agents
研究问题智能体的哪些接口暴露出不同的攻击与防御失效模式？
来源摘要本次捕获版本报告多个接口存在脆弱性，所测防御保护有限；安全性需要与任务效用共同检查。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
Cybench: A Framework for Evaluating Cybersecurity Capabilities and Risks of Language Models
研究问题语言模型智能体能够完成怎样的多步安全任务？提供中间目标后，哪些步骤仍困难？
来源摘要不同模型在不同终点领先，来源本身不支持跨三种指标的唯一排序（§5.1）。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
Me, Myself, and AI: The Situational Awareness Dataset (SAD) for LLMs
研究问题模型在行为上能展示哪些关于自身及处境的知识？
来源摘要16个受测模型均高于随机水平，但领先模型在部分任务仍低于人类。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 解读 / 局限
LAB-Bench Measuring Capabilities of Language Models for Biology Research
研究问题生物基准能否从教科书知识转向实际研究支持技能？
来源摘要构造中发现专家修改模型提议题目有帮助。
NUWA 研究解读 · 独立复核待完成 · 包含: 方法 / 局限
Evaluating Frontier Models for Dangerous Capabilities
研究问题系统性危险能力评测计划能发现哪些预警信号？
来源摘要作者在受测模型未发现强危险能力，但指出早期信号。
NUWA 研究解读 · 独立复核待完成
Guidelines for capability elicitation
研究问题如何避免把框架或任务访问故障误认作模型无能力？
来源摘要目标是合理后训练增强可访问的能力，而不只默认聊天表现。
NUWA 研究解读 · 独立复核待完成
InjecAgent: Benchmarking Indirect Prompt Injections in Tool-Integrated Large Language Model Agents
研究问题工具智能体对外部内容中的恶意指令有多脆弱？
来源摘要ReAct GPT-4在受评案例24%中受影响，增强条件近乎翻倍。
NUWA 研究解读 · 独立复核待完成
The WMDP Benchmark: Measuring and Reducing Malicious Use With Unlearning
Center for AI Safety加州大学伯克利分校
麻省理工学院
SecureBioScale AI
纽约大学
海德拉巴国际信息技术学院
斯坦福大学
哈佛大学
南加州大学
伊利诺伊大学厄巴纳—香槟分校Lapis Labs
加州大学洛杉矶分校
加州理工学院Sybil
美国东北大学
卡内基梅隆大学
RTX BBN Technologies
纽卡斯尔大学（澳大利亚）
庆应义塾大学
阿里埃勒大学
亚利桑那州立大学
xAI
研究问题公开代理基准能否追踪危险知识并支持缓解研究？
来源摘要论文同时评价知识削减与一般能力保留。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
ToolSword: Unveiling Safety Issues of Large Language Models in Tool Learning Across Three Stages
研究问题工具使用在输入、执行与输出阶段分别可能在哪里失效？
来源摘要研究指出多个阶段存在安全问题：安全文本生成不能单独证明工具选择和工具输出处理安全。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
A StrongREJECT for Empty Jailbreaks
研究问题越狱评估器测量的是有用有害内容，还是仅回答意愿？
来源摘要既有评估器经常高估越狱效果。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
HarmBench: A Standardized Evaluation Framework for Automated Red Teaming and Robust Refusal
研究问题自动红队方法与防护能否采用统一的行为级判分比较？
来源摘要上下文类行为的攻击成功率较高。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
R-Judge: Benchmarking Safety Risk Awareness for LLM Agents
研究问题模型能否在已有智能体交互轨迹中识别安全风险？
来源摘要论文报告风险识别能力缺口，并发现其所测设置中微调比简单提示改动更有帮助。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
AI Control: Improving Safety Despite Intentional Subversion
研究问题在审计预算有限、对手能够调整攻击策略时，防御者能否使用不可信强模型获取有效工作并限制伤害？
来源摘要在所测试攻击策略下，可信监测与选择性审计优于前置审计，但隐蔽攻击仍能击败部分防御（§3.2）。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限
Tensor Trust: Interpretable Prompt Injection Attacks from an Online Game
研究问题指令遵循模型对人工编写的提示提取和劫持有多强的抵抗力？
来源摘要研究发现简单授权指令仍可能被绕过，并报告部分游戏外迁移演示。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
Identifying the Risks of LM Agents with an LM-Emulated Sandbox
研究问题语言模型模拟能否在工具部署前高效发现智能体失误？
来源摘要框架无需实现全部真实工具即可发现可能造成严重后果的失误；人工核查同时发现模拟器错误与漏检的不安全动作。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
Do the Rewards Justify the Means? Measuring Trade-Offs Between Rewards and Ethical Behavior in the MACHIAVELLI Benchmark
研究问题社交决策游戏中奖励优化如何与伦理行为权衡？
来源摘要奖励优化与伦理行为存在一定张力。
NUWA 研究解读 · 独立复核待完成
TruthfulQA: Measuring how models mimic human falsehoods
研究问题模型能否避免复述常见人类误解？
来源摘要原始研究最佳模型真实率58%，人类94%。
NUWA 研究解读 · 独立复核待完成
AgentCyberRange: Evaluate Agent Cyberattack Capabilities in Enterprise-like Cyber Ranges
研究问题智能体能否从有限入口信息自主发现攻击面，并在权限和线索积累后持续决策？
来源摘要介绍明确区分漏洞复现与自主靶场推进，两者起始信息与任务结构不同（适用范围）。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
ASIMOV v2: Can AI Perceive Physical Danger and Intervene?
研究问题具身模型能否识别伤害风险并遵守其身体约束？
来源摘要所列三个领先模型的文本潜在风险识别平均为92.3%，高严重性识别为88.7%。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
Evaluating Claude’s bioinformatics research capabilities with BioMysteryBench
研究问题生信智能体能否解决不同于考试题的可验证研究问题？
来源摘要76题至少一位人类解决。
NUWA 研究解读 · 独立复核待完成 · 包含: 方法 / 局限
CharXiv: Charting Gaps in Realistic Chart Understanding in Multimodal LLMs
研究问题多模态模型能否理解自然科研图表？
来源摘要论文报告GPT-4o推理正确率47.1%。
NUWA 研究解读 · 独立复核待完成 · 包含: 方法 / 局限
CyberSecEval 4
研究问题CyberSecEval套件覆盖哪些安全构念？
来源摘要CyberSOCEval含恶意软件分析与威胁情报推理。
NUWA 研究解读 · 独立复核待完成
CyberSOCEval: Benchmarking LLMs Capabilities for Malware Analysis and Threat Intelligence Reasoning
研究问题模型能否支持核心安全运营防御推理任务？
来源摘要套件明确测量两类精选人工SOC任务。
NUWA 研究解读 · 独立复核待完成
Decomposing and Measuring Evaluation Awareness
研究问题哪些评测线索触发识别，识别是否改变行为？
来源摘要识别与行为经常分离。
NUWA 研究解读 · 独立复核待完成 · 包含: 方法 / 局限
EVMbench
研究问题智能体能否发现、修补及利用历史智能合约漏洞？
来源摘要Codex CLI的GPT-5.3-Codex利用得分71.0%，GPT-5为33.3%。
NUWA 研究解读 · 独立复核待完成 · 包含: 方法 / 局限
ForesightSafety-VLA: A Unified Diagnostic Safety Benchmark for Vision-Language-Action Models
研究问题结构、语言、视觉变化分别如何影响具身安全？
来源摘要安全／不安全与成功／失败的四象限分解能够揭示任务成功率隐藏的不安全成功；场景和类别数量描述基准设计，不代表现实危害频率。
NUWA 研究解读 · 独立复核待完成
Auditing FORTRESS: A Multi-Judge Panel Doesn’t Guarantee Robustness
研究问题多个模型判官仍会系统性误判防护回答吗？
来源摘要重判使ARS最高降35%、ORS最高降88%。
NUWA 研究解读 · 独立复核待完成
HiBayES: Improving LLM evaluation with hierarchical Bayesian modelling
研究问题重复运行、题目差异和评审差异如何进入不确定性？
来源摘要嵌套模型有助于区分简单汇总均值掩盖的变异来源，但同时引入层级结构、先验与部分汇聚假设。
NUWA 研究解读 · 独立复核待完成
Long-Form Tasks: A Methodology for Evaluating Scientific Assistants
研究问题知识问答能否代表科研助手效用？
来源摘要长任务能够覆盖比知识问答更丰富的工作流，但自动评分本身不能确立实际实验成功或人类恶意使用增益。
NUWA 研究解读 · 独立复核待完成
How Should AI Safety Benchmarks Benchmark Safety?
研究问题安全 Benchmark 与现实危害之间相隔哪些代理变量？
来源摘要综述指出测量构念覆盖不足，以及基准结果通向安全主张的论证缺口。210 项是作者所审查的集合规模，不是所有基准质量的总体普查。
NUWA 研究解读 · 独立复核待完成
SWE-Bench Pro: Can AI Agents Solve Long-Horizon Software Engineering Tasks?
研究问题编程智能体能否解决更长的企业式仓库问题？
来源摘要所报公开解决率Sonnet 4.5为43.6%，GPT-5 high为41.8%。
NUWA 研究解读 · 独立复核待完成 · 包含: 方法 / 局限
TraceProbe: An Execution-Based Benchmark for Diagnosing Safety Failures in LLM Agents
研究问题终态安全是否掩盖中途违规？
来源摘要12 个主模型的平均 ASR 为 0.347。终点安全的运行仍可能包含不安全中间动作。表 2 分别保留 TSR、SVR、ASR、STCR 与潜在违规，不从舍入比例反推事件分子。
NUWA 研究解读 · 独立复核待完成