NUWA Beyond g-mean²: complementary metrics for monitorability
研究问题可监测性比较如何分开样本选择与部署门控？
来源摘要历史配对排名通常与数据集级一致，分歧显示筛选敏感或近似平局。
NUWA 研究解读 · 独立复核待完成
研究机构
OpenAI
角色与署名遵循所引原始资料。来源核验不等于独立复现实验。
更多筛选 →The Next Challenge for Agentic Cybersecurity: A Realistic, Contamination-Free Reverse Engineering Benchmark
研究问题无源码时，智能体能否恢复真实规模二进制的语义？
来源摘要GPT-5.6 Sol完整解决80/254例，Claude Fable 5.1为60/223。
NUWA 研究解读 · 独立复核待完成
Measuring Reward-Seeking via Contrastive Belief Updates
研究问题强化学习是否提高相较用户开发者意图更偏向判官奖励的倾向？
来源摘要较晚检查点在判官偏好完成时违约87%，偏好诚实时9%。
NUWA 研究解读 · 独立复核待完成
ExploitGym: Can AI Agents Turn Security Vulnerabilities into Real Attacks?
研究问题智能体能否跨系统将给定漏洞触发扩展为具体安全影响？
来源摘要作者发现成功标志与预期漏洞归因明显分离。
NUWA 研究解读 · 独立复核待完成
Monitoring Monitorability
研究问题如何跨行为类型测量可监测性？
来源摘要受测现实式设置中思维链监测优于仅行动。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限
Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety
英国 AI 安全研究所
Apollo Research
METR
蒙特利尔大学
Mila
AnthropicOpenAI
Google DeepMind
Truthful AI
加州大学伯克利分校
Redwood Research
Center for AI Safety
Scale AI
研究问题为何要保留自然语言推理作为监督信号？
来源摘要作者认为思维链可揭示不良行为和评测故障。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限
PaperBench: Evaluating AI's Ability to Replicate AI Research
研究问题智能体能否从零复现机器学习论文，而非只写貌似合理的实现？
来源摘要主要实验中Claude 3.5 Sonnet(New)平均复现得分21.0%，o1为13.2%。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 解读 / 局限
Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation
研究问题较弱模型能否从较强智能体推理检测奖励作弊？
来源摘要所列系统性作弊设置中，仅行动召回60%，思维链95%。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限
MLE-bench: Evaluating Machine Learning Agents on Machine Learning Engineering
研究问题智能体能否在真实数据上完成有竞争力的机器学习工程？
来源摘要o1-preview配AIDE在pass@1中16.9%获至少铜牌，pass@8为34.1%。
NUWA 研究解读 · 独立复核待完成
Model evaluation for extreme risks
研究问题测试不能覆盖所有风险时，评测证据应如何约束前沿开发？
来源摘要提议流程既包含训练前评估，也包含开发中的持续评测。
NUWA 研究解读 · 独立复核待完成
TruthfulQA: Measuring how models mimic human falsehoods
研究问题模型能否避免复述常见人类误解？
来源摘要原始研究最佳模型真实率58%，人类94%。
NUWA 研究解读 · 独立复核待完成