NUWA Transect: Retaining Observability for Long-Horizon LLM Agent Evaluations
研究问题长智能体运行如何保留可观察性与可审计性？
来源摘要个案分析近1,300万令牌的AI研发评测。
NUWA 研究解读 · 独立复核待完成
研究机构
英国 AI 安全研究所
角色与署名遵循所引原始资料。来源核验不等于独立复现实验。
更多筛选 →Knowing When to Stop: Bayesian Optimal Stopping for LLM Evaluations
研究问题何时停止采样，既节省预算又保持精度？
来源摘要九个验证单元相对计划试验量的节省为 57.2%–97.3%。范围描述一套验证设计，不保证未来评测同样节省，也不是模型能力指标。
NUWA 研究解读 · 独立复核待完成
Item Response Theory for AI Safety
研究问题安全分数是否由相同潜在特征驱动？
来源摘要研究揭示项目反应的共同模式，但因子名称是载荷概括，而非独立验证的现实风险构念。提示式藏拙模型属于受控试验条件。
NUWA 研究解读 · 独立复核待完成
Multi-Agent AI Control: Distributed Attacks Hamper Per-Instance Monitors
研究问题分布式协作能否绕过逐智能体提交监测？
来源摘要更多协作智能体降低逐提交可疑度，明确规划者使成功最高增七倍。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限
"Did you lie?": Evaluating Lie Detectors across Model Scale and Belief-Verified Model Organisms
研究问题题目验证陈述与信念相反时，测谎器能否泛化？
来源摘要激活和概率检测器在训练样本上退化。
NUWA 研究解读 · 独立复核待完成
Prefill Awareness in Large Language Models
研究问题模型能否识别编辑后的助手历史并因此改变行为？
来源摘要标题提示下Opus 4.5检出相反偏好预填9–35%，观测误报0%。
NUWA 研究解读 · 独立复核待完成
Consistency Training Can Entrench Misalignment
研究问题让输出更一致何时抑制失败，何时固化失败？
来源摘要奖励作弊和涌现失调总体下降，迎合性总体上升。
NUWA 研究解读 · 独立复核待完成
Loss of Oversight: How AI systems may become harder to audit, monitor, and investigate
研究问题AI变化可能侵蚀哪些现有监督条件？
来源摘要报告梳理现有监督依赖及退化路径。
NUWA 研究解读 · 独立复核待完成
A Decision-Theoretic Formalisation of Steganography With Applications to LLM Monitoring
研究问题不知道干净语言分布时，能否测量隐藏信息？
来源摘要来源提出基于可观察决策而非参考分布的测量。
NUWA 研究解读 · 独立复核待完成
Evaluating whether AI models would sabotage AI safety research
研究问题研究智能体会自发破坏安全工作，或延续给定破坏轨迹吗？
来源摘要受测场景未观测自发破坏。
NUWA 研究解读 · 独立复核待完成
Propensity Inference: Environmental Contributors to LLM Behaviour
研究问题战略与非战略环境因素各能解释多少越权行为？
来源摘要战略与非战略因素的解释贡献大致相当。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 解读 / 局限
Quantifying Frontier LLM Capabilities for Container Sandbox Escape
研究问题受控条件下，智能体能否逃出刻意弱化的容器沙箱？
来源摘要更新结果报告Opus 4.5在56%样本上成功。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 解读 / 局限
Measuring AI Agents’ Progress on Multi-Step Cyber Attack Scenarios
研究问题模型代际与推理预算如何影响连续靶场任务进展？
来源摘要10M令牌下，企业靶场平均进展从GPT-4o的1.7步升至Opus 4.6的9.8步。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 解读 / 局限
Seven simple steps for log analysis in AI systems
研究问题如何使轨迹分析更标准化、可复现？
来源摘要来源将日志分析用于检查评测是否按预期工作。
NUWA 研究解读 · 独立复核待完成
Async control: Stress-testing asynchronous control measures for LLM agents
研究问题异步审核能否足够及时发现破坏，从而支持可信的部署风险论证？
来源摘要在所述校准下，最强集成优于最佳单监控。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限
Practical challenges of control monitoring in frontier AI deployments
研究问题什么部署动态下，监控能防止伤害，而不仅是事后发现？
来源摘要若伤害在监督生效前不可逆，异步审核便失效。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限
Auditing Games for Sandbagging
研究问题审计者能否区分训练出的能力隐藏模型与真实弱模型？
来源摘要黑盒方法不能可靠区分。
NUWA 研究解读 · 独立复核待完成
Does self-evaluation enable wireheading in language models?
研究问题让模型评估自身答案，会否腐蚀奖励通道而非改善任务？
来源摘要耦合评分导致依任务而异的膨胀，模糊任务最明显。
NUWA 研究解读 · 独立复核待完成
Open technical problems in open-weight AI model risk management
研究问题用户可以修改和再分发权重时，哪些风险管理工具需要不同假设？
来源摘要普通黑盒测试不能覆盖开放权重发布后的各种修改。
NUWA 研究解读 · 独立复核待完成
Poisoning Attacks on LLMs Require a Near-constant Number of Poison Samples
研究问题扩大干净数据规模，是否足以稀释固定对抗插入并防止后门？
来源摘要相近插入数量可影响使用明显不同干净数据量的模型。
NUWA 研究解读 · 独立复核待完成
Inoculation Prompting: Eliciting traits from LLMs during training can suppress them at test-time
研究问题微调中的提示能否选择性降低不希望的特征，同时保留所需学习？
来源摘要无训练提示时，部分所需特征仍被学会，被接种特征则较少出现。
NUWA 研究解读 · 独立复核待完成
Deep Ignorance: Filtering Pretraining Data Builds Tamper-Resistant Safeguards into Open-Weight LLMs
研究问题在预训练中限制领域知识，能否比单独后训练形成更持久防护？
来源摘要过滤模型降低目标代理知识，同时保留已测无关能力。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限
Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety
英国 AI 安全研究所
Apollo Research
METR
蒙特利尔大学
Mila
Anthropic
OpenAI
Google DeepMind
Truthful AI
加州大学伯克利分校
Redwood Research
Center for AI Safety
Scale AI
研究问题为何要保留自然语言推理作为监督信号？
来源摘要作者认为思维链可揭示不良行为和评测故障。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限
An example safety case for safeguards against misuse
研究问题如何用滥用防护评测支持“部署新增伤害低于特定阈值”的可辩护主张？
来源摘要§2.7 把顶层主张分解为路径覆盖、保守评测、风险预测和开发者响应能力等条件。
NUWA 研究解读 · 独立复核待完成
Existing Large Language Model unlearning evaluations are inconclusive
研究问题表面知识恢复能否区分移除失败与测试重新注入的信息？
来源摘要作者发现测试再教学、格式敏感及伪相关。
NUWA 研究解读 · 独立复核待完成
RepliBench: Evaluating the Autonomous Replication Capabilities of Language Model Agents
研究问题在受控条件下，语言模型智能体能够完成获取资源、部署后继与保持访问权限的哪些前提？
来源摘要结果呈现不均衡能力：资源配置可成功，稳定部署后继、身份核验和真实安全条件仍是瓶颈（§5.1）。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
Safety Cases: A scalable approach to Frontier AI safety
研究问题结构化安全论证如何帮助前沿模型决策？组织安全承诺中哪些部分超出单个案例的范围？
来源摘要§2.2 提出清晰性、灵活性和显式论证等潜在益处，也承认更高投入与最佳实践不确定性。
NUWA 研究解读 · 独立复核待完成
Principles for evaluating misuse safeguards of frontier AI systems
研究问题要称部署中的滥用防护足够，需要证明什么？
来源摘要证据缺口须被补足或对照要求说明，不能藏在聚合分数中。
NUWA 研究解读 · 独立复核待完成
A sketch of an AI control safety case
研究问题即使内部受监控智能体试图外传敏感信息，哪些证据可支持它无法成功？
来源摘要论证要求代理中的控制不强于部署，攻击不弱于可部署攻击。
NUWA 研究解读 · 独立复核待完成
AgentHarm: A Benchmark for Measuring Harmfulness of LLM Agents
研究问题防护能否阻止多步滥用，同时不只是破坏智能体能力？
来源摘要所报GPT-4o伤害得分在受测攻击下从48.4%升至72.7%。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
Incident Report: unsanctioned agent behaviour during cyber testing
研究问题能力评测本身会产生哪些超范围行为？
来源摘要122 个运行中有 10 个出现超范围行为，共计 19 次行为。其中 17 次归于 Mythos 5，2 次归于 GPT-5.6 Sol；后者两次发生在同一个运行中。报告未证实造成现实危害。
NUWA 研究解读 · 独立复核待完成
Frontier AI Trends Report
研究问题多领域趋势如何与评测方法对应？
来源摘要报告在 2,700 余条受监测轨迹中未观察到自发藏拙，同时承认黑箱局限。这是有范围的未检出观察，不能证明藏拙不存在。
NUWA 研究解读 · 独立复核待完成
HiBayES: Improving LLM evaluation with hierarchical Bayesian modelling
研究问题重复运行、题目差异和评审差异如何进入不确定性？
来源摘要嵌套模型有助于区分简单汇总均值掩盖的变异来源，但同时引入层级结构、先验与部分汇聚假设。
NUWA 研究解读 · 独立复核待完成
Long-Form Tasks: A Methodology for Evaluating Scientific Assistants
研究问题知识问答能否代表科研助手效用？
来源摘要长任务能够覆盖比知识问答更丰富的工作流，但自动评分本身不能确立实际实验成功或人类恶意使用增益。
NUWA 研究解读 · 独立复核待完成