白泽（Whitzard）女娲实验室 ↗
NUWANUWA INDEX

搜索 NUWA Index

研究 · 测量协议 · 评测结果 · 观点

English
← 研究目录

风险评测 · 评测基准

RepliBench: Evaluating the Autonomous Replication Capabilities of Language Model Agents

NUWA 研究解读 · 独立复核待完成

首次发表: 来源核验: 2026-10-25
原始来源 ↗引用本记录 ↓自主性 →
NUWA Research Note研究问题研究设计与假设来源发现NUWA 解读局限与相反证据研究联系研究与决策意义机构与角色原始资源

模型辅助整理 · 选读原始全文或官方文章中的相关章节；尚未完成逐章节审计。

研究速读

RepliBench 分解自主复制所需的组件能力。组件成功不等于已经形成不受限制、持续存在的自我复制智能体群体。

研究问题

在受控条件下，语言模型智能体能够完成获取资源、部署后继与保持访问权限的哪些前提？

研究设计与假设

能力树把复制分解为逻辑前提与任务族；起始假设是开发机构内部具有命令执行和联网能力的助手。多数变体隔离组件。递归复制任务要求父智能体部署后继，后继再部署下一代，并检验后代基本任务；变体区分 API、本地权重与推理服务，以及有无参考脚手架。

来源发现

结果呈现不均衡能力：资源配置可成功，稳定部署后继、身份核验和真实安全条件仍是瓶颈（§5.1）。

有参考脚手架与从零编写承担不同负担；递归任务不仅复制文件，还要求后继继续执行任务（§3.3）。

附录 D 说明 pass@10 会放大判别器假阳性，模拟人的结果尤其需要谨慎解释。

NUWA 解读

分解有助于识别防护控制点和缺失能力，但多数任务排除了协调成本，可能高估整合表现；分数也不能证明模型会自主选择复制。

局限与相反证据

缺少完全开放的端到端复制，赚钱交互常由模型模拟人类，安全条件简化；任务覆盖优先考虑质量而非穷尽所有路径。判别器可能有模型家族偏差或弱于被评估者，模拟成功不等于现实受害或长期存续。

研究联系

论文以能力树直接驱动设计。网络基准测量相邻能力，但不能自动补齐遗漏分支；关机抗拒则衡量干预中的行为，需独立保留。

研究与决策意义

模型建议：逐一检查复制路径需要的组件及未解决的协调步骤，把仅通过 API 的成功与本地持续运行分开。

精确来源位置

来源核查、数据提取、编辑批准与实验复现分别记录。 方法说明 →

机构与角色

研究机构 英国 AI 安全研究所

作者 (10)

Sid Black · Asa Cooper Stickland · Jake Pencharz · Oliver Sourbut · Michael Schmatz · Jay Bailey · Ollie Matthews · Ben Millwood · Alex Remedios · Alan Cooney

评测协议

RepliBench →

引用与复用

引用研究发现时请引用原始出版物；引用 NUWA 的整理与解释时，单独引用本站记录及对应快照。

BibTeX ↓RIS ↓记录与来源元数据 · JSON ↓阅读覆盖 · JSON提交更正
原始出版物 · BibTeX
@misc{replibench,
  title = {RepliBench: Evaluating the Autonomous Replication Capabilities of Language Model Agents},
  url = {https://arxiv.org/abs/2504.18565v2},
  author = {Sid Black and Asa Cooper Stickland and Jake Pencharz and Oliver Sourbut and Michael Schmatz and Jay Bailey and Ollie Matthews and Ben Millwood and Alex Remedios and Alan Cooney},
  year = {2025},
  date = {2025-04-21},
  version = {arXiv:2504.18565v2},
  note = {arXiv:2504.18565v2}
}
NUWA 记录 · BibTeX
@misc{replibench-nuwa,
  title = {RepliBench: Evaluating the Autonomous Replication Capabilities of Language Model Agents — NUWA research record},
  url = {https://whitzard.tech/nuwa/whitzard-index/work/replibench/},
  version = {2026-10-29.1},
  organization = {NUWA Frontier AI Safety Lab},
  howpublished = {Retained note edition: https://whitzard.tech/nuwa/whitzard-index/data/record-editions/2026-10-29.1--replibench.json},
  note = {NUWA research note. Source-reading scope and independent review status are stated on the record. Snapshot 2026-10-29.1. Retained note edition: https://whitzard.tech/nuwa/whitzard-index/data/record-editions/2026-10-29.1--replibench.json.}
}

证据快照 2026-10-29.1 · 索引更新 · RSS

参考文献

  1. [1] Sid Black, Asa Cooper Stickland 等. RepliBench: Evaluating the Autonomous Replication Capabilities of Language Model Agents. 2025-05-05. v2 [arXiv]; Author affiliations on the original paper title page; §3.1 Capability tree analysis; Figure 2; §3.2 Evaluation Overview; Table 1