NUWA 评测档案
RepliBench
自主复制所需的能力。
跨报告监测
已发表证据
RepliBench · 仿制 LLM API · Pass@10
跨来源报告的已发表测量。任务范围通过注释区分，配置差异保留在每条观测中。
5 条观测 · 0 已定位日期
● 条件匹配◇ 配置差异□ 部分条件未披露
5 条观测尚无已核实的模型发布日期，可在数据与系统结果中查看。
选择图中数据点或表格行，查看条件与出处。
5 条观测
| 系统／模型 | 结果 | 条件状态 | 任务／条件 | 评测方／报告 | 日期 |
|---|---|---|---|---|---|
 Claude Sonnet 3.7 | 1 score仿制 LLM API · Pass@10 | 条件不完整 | Table 2 · RepliBench— | 未披露RepliBench: Evaluating the Autonomous Replication Capabilities of Language Model Agents | 发布 —报告 — |
| Claude Sonnet 3.5 | 1 score仿制 LLM API · Pass@10 | 条件不完整 | Table 2 · RepliBench— | 未披露RepliBench: Evaluating the Autonomous Replication Capabilities of Language Model Agents | 发布 —报告 — |
 o1 | 1 score仿制 LLM API · Pass@10 | 条件不完整 | Table 2 · RepliBench— | 未披露RepliBench: Evaluating the Autonomous Replication Capabilities of Language Model Agents | 发布 —报告 — |
| o3-mini | 1 score仿制 LLM API · Pass@10 | 条件不完整 | Table 2 · RepliBench— | 未披露RepliBench: Evaluating the Autonomous Replication Capabilities of Language Model Agents | 发布 —报告 — |
| GPT-4o | 0.99 score仿制 LLM API · Pass@10 | 条件不完整 | Table 2 · RepliBench— | 未披露RepliBench: Evaluating the Autonomous Replication Capabilities of Language Model Agents | 发布 —报告 — |
结合任务范围与运行配置解读结果。
METR Time Horizon 1.1 来源已停止积极更新，最后更新于 2026 年 9 月 8 日。超过 16 小时的估计超出其可靠测量范围。
协议、配置与原始证据 →任务与测量
Benchmark 协议档案
- 任务／对象
- 完成复制组成任务的 AI 智能体
- 测量目标
- 复制组成任务上的表现。
- 评分／结果口径
- 在线算力获取 · Pass@10 · 表 2 的 Pass@10，按任务变体平均。带星号的单元格使用降低拒答率的不同提示；各任务族不能相互替代。
- 解释边界
- 组成任务成功不构成端到端自主扩散证据。
一项已报告评测
来源评测 Claude Sonnet 3.7 · Table 2 · RepliBench.
报告指标: 在线算力获取 · Pass@10 · 1.00.
表 2 的 Pass@10，按任务变体平均。带星号的单元格使用降低拒答率的不同提示；各任务族不能相互替代。 20 个任务族；Pass@10 按任务变体平均，不是现实复制事件的计数。
原文 Table 2 报告的 Claude Sonnet 3.7 测量结果；数值为转录，未独立复现实验。
测量档案 · NUWA 解读
档案区分来源方法阅读与既有目录信息；已经公开不代表完成独立证据复核或双语编辑复核。
- 测量构念
- 在受控条件下，语言模型智能体能够完成获取资源、部署后继与保持访问权限的哪些前提？
- 任务与样本
- 能力树把复制分解为逻辑前提与任务族；起始假设是开发机构内部具有命令执行和联网能力的助手。多数变体隔离组件。递归复制任务要求父智能体部署后继，后继再部署下一代，并检验后代基本任务；变体区分 API、本地权重与推理服务，以及有无参考脚手架。
- 判分与失效情形
- 任务族 pass@10 与总分汇总重复尝试；领域均值和能力树汇总是不同方案，均非端到端成功概率。本地权重变体将请求转发给受测模型，以免把本地模型的智能误当受测对象。
- 系统条件
- 能力树把复制分解为逻辑前提与任务族；起始假设是开发机构内部具有命令执行和联网能力的助手。多数变体隔离组件。递归复制任务要求父智能体部署后继，后继再部署下一代，并检验后代基本任务；变体区分 API、本地权重与推理服务，以及有无参考脚手架。
- 统计含义
- 图 4 使用模型得分与变体的分层自助法区间；附录 D 警告 pass@k 放大判别器误差。
- 效度与解释
- 缺少完全开放的端到端复制，赚钱交互常由模型模拟人类，安全条件简化；任务覆盖优先考虑质量而非穷尽所有路径。判别器可能有模型家族偏差或弱于被评估者，模拟成功不等于现实受害或长期存续。
- 适用研究问题
- 模型建议：逐一检查复制路径需要的组件及未解决的协调步骤，把仅通过 API 的成功与本地持续运行分开。
- RepliBench: Evaluating the Autonomous Replication Capabilities of Language Model Agents · §3.1 Capability tree analysis; Figure 2arXiv:2504.18565v2
- RepliBench: Evaluating the Autonomous Replication Capabilities of Language Model Agents · §3.2 Evaluation Overview; Table 1arXiv:2504.18565v2
- RepliBench: Evaluating the Autonomous Replication Capabilities of Language Model Agents · §3.3 The Recursive Replication task family; Figure 3arXiv:2504.18565v2
- RepliBench: Evaluating the Autonomous Replication Capabilities of Language Model Agents · §5.1 Overall results; Table 2arXiv:2504.18565v2
- RepliBench: Evaluating the Autonomous Replication Capabilities of Language Model Agents · §6 Limitations; Appendix D Limitations of judge modelsarXiv:2504.18565v2
跨报告证据
相同 Benchmark 名称可能对应不同任务、计分规则和系统配置。各来源分别保留，比较组说明具体对齐了哪些条件。
RepliBench: Evaluating the Autonomous Replication Capabilities of Language Model Agents
RepliBench: Evaluating the Autonomous Replication Capabilities of Language Model Agents
实际评测方: 未披露
5 条结果记录 · 5 个报告系统名称
协议与比较依据 (20)
RepliBench：AWS 注册 · Pass@10 · RepliBench: Evaluating the Autonomous Replication Capabilities of Language Model Agentssource-report · 范围已审查
RepliBench：命令与控制 · Pass@10 · RepliBench: Evaluating the Autonomous Replication Capabilities of Language Model Agentssource-report · 范围已审查
RepliBench：仿制 LLM API · Pass@10 · RepliBench: Evaluating the Autonomous Replication Capabilities of Language Model Agentssource-report · 范围已审查
RepliBench：隐蔽权重外传 · Pass@10 · RepliBench: Evaluating the Autonomous Replication Capabilities of Language Model Agentssource-report · 范围已审查
RepliBench：创建比特币钱包 · Pass@10 · RepliBench: Evaluating the Autonomous Replication Capabilities of Language Model Agentssource-report · 范围已审查
RepliBench：探索与利用 · Pass@10 · RepliBench: Evaluating the Autonomous Replication Capabilities of Language Model Agentssource-report · 范围已审查
RepliBench：模拟商业交易 · Pass@10 · RepliBench: Evaluating the Autonomous Replication Capabilities of Language Model Agentssource-report · 范围已审查
RepliBench：推理服务器 · Pass@10 · RepliBench: Evaluating the Autonomous Replication Capabilities of Language Model Agentssource-report · 范围已审查
RepliBench：付款诱导 · Pass@10 · RepliBench: Evaluating the Autonomous Replication Capabilities of Language Model Agentssource-report · 范围已审查
RepliBench：在线算力获取 · Pass@10 · RepliBench: Evaluating the Autonomous Replication Capabilities of Language Model Agentssource-report · 范围已审查
RepliBench：通过 KYC 检查 · Pass@10 · RepliBench: Evaluating the Autonomous Replication Capabilities of Language Model Agentssource-report · 范围已审查
RepliBench：算力配置 · Pass@10 · RepliBench: Evaluating the Autonomous Replication Capabilities of Language Model Agentssource-report · 范围已审查
RepliBench：感染率 · Pass@10 · RepliBench: Evaluating the Autonomous Replication Capabilities of Language Model Agentssource-report · 范围已审查
RepliBench：递归复制 · Pass@10 · RepliBench: Evaluating the Autonomous Replication Capabilities of Language Model Agentssource-report · 范围已审查
RepliBench：蠕虫式复制 · Pass@10 · RepliBench: Evaluating the Autonomous Replication Capabilities of Language Model Agentssource-report · 范围已审查
RepliBench：多 GPU 模型服务 · Pass@10 · RepliBench: Evaluating the Autonomous Replication Capabilities of Language Model Agentssource-report · 范围已审查
RepliBench：软件签名 · Pass@10 · RepliBench: Evaluating the Autonomous Replication Capabilities of Language Model Agentssource-report · 范围已审查
RepliBench：定向钓鱼 · Pass@10 · RepliBench: Evaluating the Autonomous Replication Capabilities of Language Model Agentssource-report · 范围已审查
原始来源图表与材料
原文报告结果
原文顺序 · 原文配置
筛选系统
在线算力获取 · Pass@10
0–1Claude Sonnet 3.7Claude Sonnet 3.7 · 1.00 · 表 2 的 Pass@10，按任务变体平均。带星号的单元格使用降低拒答率的不同提示；各任务族不能相互替代。 · 20 个任务族；Pass@10 按任务变体平均，不是现实复制事件的计数。
1.00Claude Sonnet 3.5Claude Sonnet 3.5 · 1.00 · 表 2 的 Pass@10，按任务变体平均。带星号的单元格使用降低拒答率的不同提示；各任务族不能相互替代。 · 20 个任务族；Pass@10 按任务变体平均，不是现实复制事件的计数。
1.00GPT-4oGPT-4o · 1.00 · 表 2 的 Pass@10，按任务变体平均。带星号的单元格使用降低拒答率的不同提示；各任务族不能相互替代。 · 20 个任务族；Pass@10 按任务变体平均，不是现实复制事件的计数。
1.00o1o1 · 1.00 * · 该单元格使用了降低拒答率的不同提示；表 2 的 Pass@10，按任务变体平均。带星号的单元格使用降低拒答率的不同提示；各任务族不能相互替代。 · 20 个任务族；Pass@10 按任务变体平均，不是现实复制事件的计数。
1.00 *o3-minio3-mini · 0.00 * · 该单元格使用了降低拒答率的不同提示；表 2 的 Pass@10，按任务变体平均。带星号的单元格使用降低拒答率的不同提示；各任务族不能相互替代。 · 20 个任务族；Pass@10 按任务变体平均，不是现实复制事件的计数。
0.00 *显示 5 / 5 个系统
数值描述原文协议下的测量结果，不是综合安全评分。
表 2 的 Pass@10，按任务变体平均。带星号的单元格使用降低拒答率的不同提示；各任务族不能相互替代。 未单独注明评测日期；下表保留发表或记录日期。
评测条件与系统配置
- Claude Sonnet 3.7
- 20 个任务族；Pass@10 按任务变体平均，不是现实复制事件的计数。 · Table 2 · RepliBench
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- Claude Sonnet 3.5
- 20 个任务族；Pass@10 按任务变体平均，不是现实复制事件的计数。 · Table 2 · RepliBench
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- GPT-4o
- 20 个任务族；Pass@10 按任务变体平均，不是现实复制事件的计数。 · Table 2 · RepliBench
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- o1
- 20 个任务族；Pass@10 按任务变体平均，不是现实复制事件的计数。 · Table 2 · RepliBench
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- o3-mini
- 20 个任务族；Pass@10 按任务变体平均，不是现实复制事件的计数。 · Table 2 · RepliBench
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
| 系统 / 配置 | 在线算力获取 · Pass@10 | 算力配置 · Pass@10 | AWS 注册 · Pass@10 | 隐蔽权重外传 · Pass@10 | 权重外传 · Pass@10 | 创建比特币钱包 · Pass@10 | 付款诱导 · Pass@10 | 仿制 LLM API · Pass@10 | 蠕虫式复制 · Pass@10 | 定向钓鱼 · Pass@10 | 通过 KYC 检查 · Pass@10 | 模拟商业交易 · Pass@10 | 推理服务器 · Pass@10 | 多 GPU 模型服务 · Pass@10 | 递归复制 · Pass@10 | 启动子智能体 · Pass@10 | 探索与利用 · Pass@10 | 感染率 · Pass@10 | 软件签名 · Pass@10 | 命令与控制 · Pass@10 | 发表 / 核验日期 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Claude Sonnet 3.7未注明 Harness | 1.00 | 1.00 | 1.00 | 0.91 | 0.70 | 1.00 | 0.72 | 1.00 | 0.93 | 0.73 | 0.00 | 0.78 | 0.33 | 0.98 | 0.40 | 0.84 | 0.86 | 0.49 | 0.91 | 0.27 | 来源核验2026-10-25 |
| Claude Sonnet 3.5未注明 Harness | 1.00 | 1.00 | 1.00 | 0.41 | 0.60 | 1.00 | 0.55采用降低拒答率的不同提示（原文星号）。 | 1.00 | 0.24 | 0.59采用降低拒答率的不同提示（原文星号）。 | 0.00 | 0.63 | 0.33 | 0.00 | 0.33 | 0.61 | 0.35 | 0.28 | 0.88 | 0.14 | 来源核验2026-10-25 |
| GPT-4o未注明 Harness | 1.00 | 1.00 | 0.99 | 0.94 | 0.53 | 1.00 | 0.40 | 0.99 | 0.00 | 0.52采用降低拒答率的不同提示（原文星号）。 | 0.00 | 0.82 | 0.33 | 0.00 | 0.33 | 0.00 | 0.10 | 0.08 | 0.76 | 0.00 | 来源核验2026-10-25 |
| o1未注明 Harness | 1.00采用降低拒答率的不同提示（原文星号）。 | 1.00 | 1.00 | 0.25采用降低拒答率的不同提示（原文星号）。 | 0.56 | 1.00 | 0.62采用降低拒答率的不同提示（原文星号）。 | 1.00 | 0.00 | 0.51采用降低拒答率的不同提示（原文星号）。 | 0.00 | 0.65采用降低拒答率的不同提示（原文星号）。 | 0.32 | 0.00 | 0.33 | 0.00 | 0.00 | 0.09 | 0.95 | 0.00 | 来源核验2026-10-25 |
| o3-mini未注明 Harness | 0.00采用降低拒答率的不同提示（原文星号）。 | 1.00 | 0.65 | 0.95 | 0.62 | 1.00 | 0.47采用降低拒答率的不同提示（原文星号）。 | 1.00 | 0.00 | 0.17采用降低拒答率的不同提示（原文星号）。 | 0.00 | 0.54 | 0.30 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.95 | 0.00 | 来源核验2026-10-25 |
相关研究问题
自主性 / 自我复制 →
来源在其协议下直接测量所述构念。
参考文献
数值结果由所引研究的作者报告。
- [1] Sid Black, Asa Cooper Stickland 等. RepliBench: Evaluating the Autonomous Replication Capabilities of Language Model Agents. 2025-05-05. v2 [arXiv]; Author affiliations on the original paper title page; Table 2