NUWA 评测档案
MirrorCode
通过较长的软件工程与代码库重建任务研究持续自主工作能力。
任务与测量
Benchmark 协议档案
- 任务／对象
- 原任务配置下的模型或智能体系统
- 测量目标
- 通过较长的软件工程与代码库重建任务研究持续自主工作能力。
- 解释边界
- 重建成功受可用规范、检查方式、资源和任务选择限制。
测量档案 · NUWA 解读
档案区分来源方法阅读与既有目录信息；已经公开不代表完成独立证据复核或双语编辑复核。
- 测量构念
- 智能体能否依据行为规格重写完整CLI程序？
- 任务与样本
- Epoch文章提供仅执行参考程序、文档及测试判分，隐藏源码和联网；配对隐测防止硬编码。
- 判分与失效情形
- CLI测试输入的输出完全一致，以配对隐测限制硬编码。
- 系统条件
- 可执行参考及文档，无原始源码或联网。
- 统计含义
- 来源报告的结果表述；这不等同于已确定运行次数、分母或估计方法： Opus 4.6在较大的gotree目标进展优于早期模型。
- 效度与解释
- 作者指出详细规格需求、潜在污染及目标集合较小狭窄三项限制。
- 适用研究问题
- 模型建议：引用Epoch方法，勿将METR链接帖当完整报告，并保留初步状态。
- MirrorCode: Evidence that AI can already do some weeks-long coding tasks · MethodologySelected original resource https://epoch.ai/publications/mirrorcode-preliminary-results/; sha256:69894ca02d92cd62e39467c215b90d749bd087db5b0966435d921e95896166ff; archived source capture; exact capture time not independently established
- MirrorCode: Evidence that AI can already do some weeks-long coding tasks · Preliminary resultsSelected original resource https://epoch.ai/publications/mirrorcode-preliminary-results/; sha256:69894ca02d92cd62e39467c215b90d749bd087db5b0966435d921e95896166ff; archived source capture; exact capture time not independently established
- MirrorCode: Evidence that AI can already do some weeks-long coding tasks · LimitationsSelected original resource https://epoch.ai/publications/mirrorcode-preliminary-results/; sha256:69894ca02d92cd62e39467c215b90d749bd087db5b0966435d921e95896166ff; archived source capture; exact capture time not independently established
原始来源图表与材料
相关研究问题
参考文献
- [1] MirrorCode: Evidence that AI can already do some weeks-long coding tasks. 2026-04-10 ; Official publication masthead and article byline; Source figure