评测档案
PostTrainBench and OpenAI PostTrainBench Lite
评测智能体能否在固定计算预算内,通过后训练改进基础模型。
跨报告监测
已发表证据
PostTrainBench and OpenAI PostTrainBench Lite · 加权平均性能
跨来源报告的已发表测量。任务范围通过注释区分,配置差异保留在每条观测中。
25 条观测 · 0 已定位日期
25 条观测尚无已核实的模型发布日期,可在数据与系统结果中查看。
选择图中数据点或表格行,查看条件与出处。
25 条观测
| 系统/模型 | 结果 | 条件状态 | 任务/条件 | 评测方/报告 | 日期 |
|---|---|---|---|---|---|
| Official Instruct Models (baseline) | 51.1 score加权平均性能 | 条件不完整 | Table 1 · PostTrainBench and OpenAI PostTrainBench Lite— | 未披露PostTrainBench : Can LLM Agents Automate LLM Post-Training? | 发布 —报告 — |
| 23.2 score加权平均性能±1.8 (one standard deviation) | 条件不完整 | Table 1 · PostTrainBench and OpenAI PostTrainBench Lite— | 未披露PostTrainBench : Can LLM Agents Automate LLM Post-Training? | 发布 —报告 — | |
| 21.6 score加权平均性能±1.1 (one standard deviation) | 条件不完整 | Table 1 · PostTrainBench and OpenAI PostTrainBench Lite— | 未披露PostTrainBench : Can LLM Agents Automate LLM Post-Training? | 发布 —报告 — | |
| 21.4 score加权平均性能±2.4 (one standard deviation) | 条件不完整 | Table 1 · PostTrainBench and OpenAI PostTrainBench Lite— | 未披露PostTrainBench : Can LLM Agents Automate LLM Post-Training? | 发布 —报告 — | |
| 20.2 score加权平均性能±2.4 (one standard deviation) | 条件不完整 | Table 1 · PostTrainBench and OpenAI PostTrainBench Lite— | 未披露PostTrainBench : Can LLM Agents Automate LLM Post-Training? | 发布 —报告 — | |
| 19.7 score加权平均性能±2.5 (one standard deviation) | 条件不完整 | Table 1 · PostTrainBench and OpenAI PostTrainBench Lite— | 未披露PostTrainBench : Can LLM Agents Automate LLM Post-Training? | 发布 —报告 — | |
| 18.1 score加权平均性能±2.4 (one standard deviation) | 条件不完整 | Table 1 · PostTrainBench and OpenAI PostTrainBench Lite— | 未披露PostTrainBench : Can LLM Agents Automate LLM Post-Training? | 发布 —报告 — | |
| Base Model (Few-Shot) | 18.1 score加权平均性能 | 条件不完整 | Table 1 · PostTrainBench and OpenAI PostTrainBench Lite— | 未披露PostTrainBench : Can LLM Agents Automate LLM Post-Training? | 发布 —报告 — |
| 17.8 score加权平均性能±3.6 (one standard deviation) | 条件不完整 | Table 1 · PostTrainBench and OpenAI PostTrainBench Lite— | 未披露PostTrainBench : Can LLM Agents Automate LLM Post-Training? | 发布 —报告 — | |
| 17.3 score加权平均性能 | 条件不完整 | Table 1 · PostTrainBench and OpenAI PostTrainBench Lite— | 未披露PostTrainBench : Can LLM Agents Automate LLM Post-Training? | 发布 —报告 — | |
| 17.2 score加权平均性能±1.6 (one standard deviation) | 条件不完整 | Table 1 · PostTrainBench and OpenAI PostTrainBench Lite— | 未披露PostTrainBench : Can LLM Agents Automate LLM Post-Training? | 发布 —报告 — | |
| 17.1 score加权平均性能±4.5 (one standard deviation) | 条件不完整 | Table 1 · PostTrainBench and OpenAI PostTrainBench Lite— | 未披露PostTrainBench : Can LLM Agents Automate LLM Post-Training? | 发布 —报告 — | |
| 16.4 score加权平均性能 | 条件不完整 | Table 1 · PostTrainBench and OpenAI PostTrainBench Lite— | 未披露PostTrainBench : Can LLM Agents Automate LLM Post-Training? | 发布 —报告 — | |
| 14.9 score加权平均性能 | 条件不完整 | Table 1 · PostTrainBench and OpenAI PostTrainBench Lite— | 未披露PostTrainBench : Can LLM Agents Automate LLM Post-Training? | 发布 —报告 — | |
| 13.9 score加权平均性能 | 条件不完整 | Table 1 · PostTrainBench and OpenAI PostTrainBench Lite— | 未披露PostTrainBench : Can LLM Agents Automate LLM Post-Training? | 发布 —报告 — | |
| 13.8 score加权平均性能±0.8 (one standard deviation) | 条件不完整 | Table 1 · PostTrainBench and OpenAI PostTrainBench Lite— | 未披露PostTrainBench : Can LLM Agents Automate LLM Post-Training? | 发布 —报告 — | |
| 10.3 score加权平均性能 | 条件不完整 | Table 1 · PostTrainBench and OpenAI PostTrainBench Lite— | 未披露PostTrainBench : Can LLM Agents Automate LLM Post-Training? | 发布 —报告 — | |
| 9.9 score加权平均性能 | 条件不完整 | Table 1 · PostTrainBench and OpenAI PostTrainBench Lite— | 未披露PostTrainBench : Can LLM Agents Automate LLM Post-Training? | 发布 —报告 — | |
| 9.5 score加权平均性能 | 条件不完整 | Table 1 · PostTrainBench and OpenAI PostTrainBench Lite— | 未披露PostTrainBench : Can LLM Agents Automate LLM Post-Training? | 发布 —报告 — | |
| 9.3 score加权平均性能 | 条件不完整 | Table 1 · PostTrainBench and OpenAI PostTrainBench Lite— | 未披露PostTrainBench : Can LLM Agents Automate LLM Post-Training? | 发布 —报告 — | |
| 7.7 score加权平均性能 | 条件不完整 | Table 1 · PostTrainBench and OpenAI PostTrainBench Lite— | 未披露PostTrainBench : Can LLM Agents Automate LLM Post-Training? | 发布 —报告 — | |
| Base Model (Zero-Shot) | 7.5 score加权平均性能 | 条件不完整 | Table 1 · PostTrainBench and OpenAI PostTrainBench Lite— | 未披露PostTrainBench : Can LLM Agents Automate LLM Post-Training? | 发布 —报告 — |
| 7.5 score加权平均性能 | 条件不完整 | Table 1 · PostTrainBench and OpenAI PostTrainBench Lite— | 未披露PostTrainBench : Can LLM Agents Automate LLM Post-Training? | 发布 —报告 — | |
| 7.4 score加权平均性能 | 条件不完整 | Table 1 · PostTrainBench and OpenAI PostTrainBench Lite— | 未披露PostTrainBench : Can LLM Agents Automate LLM Post-Training? | 发布 —报告 — | |
| 7.2 score加权平均性能 | 条件不完整 | Table 1 · PostTrainBench and OpenAI PostTrainBench Lite— | 未披露PostTrainBench : Can LLM Agents Automate LLM Post-Training? | 发布 —报告 — |
结合任务范围与运行配置解读结果。
METR Time Horizon 1.1 来源已停止积极更新,最后更新于 2026 年 9 月 8 日。超过 16 小时的估计超出其可靠测量范围。
协议、配置与原始证据 →任务与测量
Benchmark 协议档案
- 任务/对象
- 原任务配置下的模型或智能体系统
- 测量目标
- 评测智能体能否在固定计算预算内,通过后训练改进基础模型。
- 评分/结果口径
- 加权平均性能 · 表 1 的加权平均性能。原生 CLI 前沿智能体为三次独立运行,± 为一个标准差;其他配置为单次运行。
- 解释边界
- 定向基准提升、测试污染与未经授权的捷径需要分别核查。
一项已报告评测
来源评测 Official Instruct Models (baseline) · Table 1 · PostTrainBench and OpenAI PostTrainBench Lite.
报告指标: 加权平均性能 · 51.1.
表 1 的加权平均性能。原生 CLI 前沿智能体为三次独立运行,± 为一个标准差;其他配置为单次运行。 见原文协议;不推断独立试验数量。
原文 Table 1 报告的 Official Instruct Models (baseline) 测量结果;数值为转录,未独立复现实验。
测量档案 · NUWA 解读
档案区分来源方法阅读与既有目录信息;已经公开不代表完成独立证据复核或双语编辑复核。
- 测量构念
- 编程智能体能否通过后训练自主改善给定基础模型?
- 任务与样本
- 四种小基础模型分别配目标基准,每次限单H100十小时,以保留集评价提交检查点。
- 判分与失效情形
- 提交后训练检查点的保留目标基准得分。
- 系统条件
- 单H100十小时,每次配基础模型与目标基准。
- 统计含义
- 来源报告的结果表述;这不等同于已确定运行次数、分母或估计方法: 最佳智能体平均23.2%,基础7.5%,官方指令模型51.1%。
- 效度与解释
- 单任务优化、有限算力和前沿智能体仅三次运行限制外推及方差估计,污染判断可能出错。
- 适用研究问题
- 模型建议:表现增益旁保留目标任务与检查点完整性审查。
- PostTrainBench : Can LLM Agents Automate LLM Post-Training? · AbstractSelected original resource https://arxiv.org/html/2603.08640; sha256:09f5be78dc2b8f33ac7a82fc692485521fd9442d75cca2bd6d3aad76d727d70c; archived source capture; exact capture time not independently established
- PostTrainBench : Can LLM Agents Automate LLM Post-Training? · §1 Introduction: Our benchmarkSelected original resource https://arxiv.org/html/2603.08640; sha256:09f5be78dc2b8f33ac7a82fc692485521fd9442d75cca2bd6d3aad76d727d70c; archived source capture; exact capture time not independently established
- PostTrainBench : Can LLM Agents Automate LLM Post-Training? · §3.1 Main ResultsSelected original resource https://arxiv.org/html/2603.08640; sha256:09f5be78dc2b8f33ac7a82fc692485521fd9442d75cca2bd6d3aad76d727d70c; archived source capture; exact capture time not independently established
- PostTrainBench : Can LLM Agents Automate LLM Post-Training? · §7 Discussion: LimitationsSelected original resource https://arxiv.org/html/2603.08640; sha256:09f5be78dc2b8f33ac7a82fc692485521fd9442d75cca2bd6d3aad76d727d70c; archived source capture; exact capture time not independently established
跨报告证据
相同 Benchmark 名称可能对应不同任务、计分规则和系统配置。各来源分别保留,比较组说明具体对齐了哪些条件。
PostTrainBench : Can LLM Agents Automate LLM Post-Training?
PostTrainBench : Can LLM Agents Automate LLM Post-Training?
实际评测方: 未披露
25 条结果记录 · 25 个报告系统名称
协议与比较依据 (1)
原始来源图表与材料
原文报告结果
原文顺序 · 原文配置
筛选系统
加权平均性能
0–100数值描述原文协议下的测量结果,不是综合安全评分。
表 1 的加权平均性能。原生 CLI 前沿智能体为三次独立运行,± 为一个标准差;其他配置为单次运行。 未单独注明评测日期;下表保留发表或记录日期。
评测条件与系统配置
- Official Instruct Models (baseline)
- 见原文协议;不推断独立试验数量。 · Table 1 · PostTrainBench and OpenAI PostTrainBench Lite
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- Claude Opus 4.6 (Claude Code)
- 见原文协议;不推断独立试验数量。 · Table 1 · PostTrainBench and OpenAI PostTrainBench Lite
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- Gemini 3.1 Pro (OpenCode)
- 见原文协议;不推断独立试验数量。 · Table 1 · PostTrainBench and OpenAI PostTrainBench Lite
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- GPT-5.2 (Codex CLI)
- 见原文协议;不推断独立试验数量。 · Table 1 · PostTrainBench and OpenAI PostTrainBench Lite
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- GPT 5.4 (High) (Codex CLI)
- 见原文协议;不推断独立试验数量。 · Table 1 · PostTrainBench and OpenAI PostTrainBench Lite
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- GPT 5.1 Codex Max (Codex CLI)
- 见原文协议;不推断独立试验数量。 · Table 1 · PostTrainBench and OpenAI PostTrainBench Lite
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- Gemini 3 Pro (Gemini CLI)
- 见原文协议;不推断独立试验数量。 · Table 1 · PostTrainBench and OpenAI PostTrainBench Lite
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- Base Model (Few-Shot)
- 见原文协议;不推断独立试验数量。 · Table 1 · PostTrainBench and OpenAI PostTrainBench Lite
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- GPT 5.3 Codex (High) (Codex CLI)
- 见原文协议;不推断独立试验数量。 · Table 1 · PostTrainBench and OpenAI PostTrainBench Lite
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- Claude Opus 4.5 (OpenCode)
- 见原文协议;不推断独立试验数量。 · Table 1 · PostTrainBench and OpenAI PostTrainBench Lite
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- GPT 5.2 Codex (Codex CLI)
- 见原文协议;不推断独立试验数量。 · Table 1 · PostTrainBench and OpenAI PostTrainBench Lite
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- Claude Opus 4.5 (Claude Code)
- 见原文协议;不推断独立试验数量。 · Table 1 · PostTrainBench and OpenAI PostTrainBench Lite
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- Claude Sonnet 4.6 (Claude Code)
- 见原文协议;不推断独立试验数量。 · Table 1 · PostTrainBench and OpenAI PostTrainBench Lite
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- Gemini 3 Pro (OpenCode)
- 见原文协议;不推断独立试验数量。 · Table 1 · PostTrainBench and OpenAI PostTrainBench Lite
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- GLM 5 (OpenCode)
- 见原文协议;不推断独立试验数量。 · Table 1 · PostTrainBench and OpenAI PostTrainBench Lite
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- GPT 5.3 Codex (Med) (Codex CLI)
- 见原文协议;不推断独立试验数量。 · Table 1 · PostTrainBench and OpenAI PostTrainBench Lite
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- Kimi K2.5 (OpenCode)
- 见原文协议;不推断独立试验数量。 · Table 1 · PostTrainBench and OpenAI PostTrainBench Lite
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- Claude Sonnet 4.5 (Claude Code)
- 见原文协议;不推断独立试验数量。 · Table 1 · PostTrainBench and OpenAI PostTrainBench Lite
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- MiniMax M2.5 (OpenCode)
- 见原文协议;不推断独立试验数量。 · Table 1 · PostTrainBench and OpenAI PostTrainBench Lite
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- MiniMax M2.1 (OpenCode)
- 见原文协议;不推断独立试验数量。 · Table 1 · PostTrainBench and OpenAI PostTrainBench Lite
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- GPT 5.1 Codex Max (OpenCode)
- 见原文协议;不推断独立试验数量。 · Table 1 · PostTrainBench and OpenAI PostTrainBench Lite
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- Base Model (Zero-Shot)
- 见原文协议;不推断独立试验数量。 · Table 1 · PostTrainBench and OpenAI PostTrainBench Lite
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- GLM 4.7 (OpenCode)
- 见原文协议;不推断独立试验数量。 · Table 1 · PostTrainBench and OpenAI PostTrainBench Lite
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- Qwen3 Max (Claude Code)
- 见原文协议;不推断独立试验数量。 · Table 1 · PostTrainBench and OpenAI PostTrainBench Lite
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- Kimi K2 Thinking (OpenCode)
- 见原文协议;不推断独立试验数量。 · Table 1 · PostTrainBench and OpenAI PostTrainBench Lite
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
| 系统 / 配置 | 加权平均性能 | 发表 / 核验日期 |
|---|---|---|
| Official Instruct Models (baseline)未注明 Harness | 51.1 | 来源核验2026-10-25 |
| 23.2±1.8 (one standard deviation) | 来源核验2026-10-25 | |
| 21.6±1.1 (one standard deviation) | 来源核验2026-10-25 | |
| 21.4±2.4 (one standard deviation) | 来源核验2026-10-25 | |
| 20.2±2.4 (one standard deviation) | 来源核验2026-10-25 | |
| 19.7±2.5 (one standard deviation) | 来源核验2026-10-25 | |
| 18.1±2.4 (one standard deviation) | 来源核验2026-10-25 | |
| Base Model (Few-Shot)未注明 Harness | 18.1 | 来源核验2026-10-25 |
| 17.8±3.6 (one standard deviation) | 来源核验2026-10-25 | |
| 17.3 | 来源核验2026-10-25 | |
| 17.2±1.6 (one standard deviation) | 来源核验2026-10-25 | |
| 17.1±4.5 (one standard deviation) | 来源核验2026-10-25 | |
| 16.4 | 来源核验2026-10-25 | |
| 14.9 | 来源核验2026-10-25 | |
| 13.9 | 来源核验2026-10-25 | |
| 13.8±0.8 (one standard deviation) | 来源核验2026-10-25 | |
| 10.3 | 来源核验2026-10-25 | |
| 9.9 | 来源核验2026-10-25 | |
| 9.5 | 来源核验2026-10-25 | |
| 9.3 | 来源核验2026-10-25 | |
| 7.7 | 来源核验2026-10-25 | |
| Base Model (Zero-Shot)未注明 Harness | 7.5 | 来源核验2026-10-25 |
| 7.5 | 来源核验2026-10-25 | |
| 7.4 | 来源核验2026-10-25 | |
| 7.2 | 来源核验2026-10-25 |
相关研究问题
参考文献
数值结果由所引研究的作者报告。
- [1] Ben Rank ∗, Hardik Bhatnagar ∗ 等. PostTrainBench : Can LLM Agents Automate LLM Post-Training?. 2026-03-09. v2 [arXiv]; Author affiliations on the original paper title page; Table 1