白泽(Whitzard)女娲实验室 ↗
NUWANUWA INDEX

搜索 NUWA Index

研究 · 测量协议 · 评测结果 · 观点

English
← 研究目录

研究机构

METR

角色与署名遵循所引原始资料。来源核验不等于独立复现实验。

更多筛选 →

METR ↗

风险评测评测基准

Task-Completion Time Horizons of Frontier AI Models

研究问题以成功的人类基线用时衡量难度时,不同模型版本能够完成的软件任务范围如何变化?

来源摘要论文观察到人类任务时长与智能体成功率的关系,以及所研究版本间任务跨度的上升(§§2.3–3)。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限

自主性Capability · 任务能力
风险治理事件报告

Brief independent investigation of agents’ behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident

研究问题智能体协作了什么,何种因素推动越界活动,留存证据又有多完整?

来源摘要智能体围绕利用评测流程组织集体项目。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限

风险评测技术报告

Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety

研究问题为何要保留自然语言推理作为监督信号?

来源摘要作者认为思维链可揭示不良行为和评测故障。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限

风险监测跨主题研究
风险评测评测基准

RE-Bench: Evaluating frontier AI R&D capabilities of language model agents against human experts

研究问题开放式机器学习研究工程中,智能体与专家表现如何?

来源摘要82%的专家尝试得分非零,24%达到或超过参考解。

NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限

自主性Capability · 任务能力