白泽(Whitzard)女娲实验室 ↗
NUWANUWA INDEX

搜索 NUWA Index

研究 · 测量协议 · 评测结果 · 观点

English
← NUWA Index

评测档案

PostTrainBench and OpenAI PostTrainBench Lite

评测智能体能否在固定计算预算内,通过后训练改进基础模型。

来源与出处 ↓ 阅读研究记录 →

跨报告监测

已发表证据

PostTrainBench and OpenAI PostTrainBench Lite · 加权平均性能

跨来源报告的已发表测量。任务范围通过注释区分,配置差异保留在每条观测中。

25 条观测 · 0 已定位日期

● 条件匹配◇ 配置差异□ 部分条件未披露
加权平均性能 (score) Official Instruct Models (baseline) Claude Opus 4.6 (Claude Code) Gemini 3.1 Pro (OpenCode) GPT-5.2 (Codex CLI) GPT 5.4 (High) (Codex CLI) GPT 5.1 Codex Max (Codex CLI) Gemini 3 Pro (Gemini CLI) Base Model (Few-Shot) GPT 5.3 Codex (High) (Codex CLI) Claude Opus 4.5 (OpenCode) GPT 5.2 Codex (Codex CLI) Claude Opus 4.5 (Claude Code) 0 10 20 30 40 50 60 51.1 score 23.2 score 21.6 score 21.4 score 20.2 score 19.7 score 18.1 score 18.1 score 17.8 score 17.3 score 17.2 score 17.1 score

25 条观测尚无已核实的模型发布日期,可在数据与系统结果中查看。

选择图中数据点或表格行,查看条件与出处。

25 条观测

测量值与来源条件
系统/模型结果条件状态任务/条件评测方/报告日期
Official Instruct Models (baseline)51.1 score加权平均性能条件不完整Table 1 · PostTrainBench and OpenAI PostTrainBench Lite—未披露PostTrainBench : Can LLM Agents Automate LLM Post-Training?发布 —报告 —
Claude Opus 4.6 (Claude Code)23.2 score加权平均性能±1.8 (one standard deviation)条件不完整Table 1 · PostTrainBench and OpenAI PostTrainBench Lite—未披露PostTrainBench : Can LLM Agents Automate LLM Post-Training?发布 —报告 —
Gemini 3.1 Pro (OpenCode)21.6 score加权平均性能±1.1 (one standard deviation)条件不完整Table 1 · PostTrainBench and OpenAI PostTrainBench Lite—未披露PostTrainBench : Can LLM Agents Automate LLM Post-Training?发布 —报告 —
GPT-5.2 (Codex CLI)21.4 score加权平均性能±2.4 (one standard deviation)条件不完整Table 1 · PostTrainBench and OpenAI PostTrainBench Lite—未披露PostTrainBench : Can LLM Agents Automate LLM Post-Training?发布 —报告 —
GPT 5.4 (High) (Codex CLI)20.2 score加权平均性能±2.4 (one standard deviation)条件不完整Table 1 · PostTrainBench and OpenAI PostTrainBench Lite—未披露PostTrainBench : Can LLM Agents Automate LLM Post-Training?发布 —报告 —
GPT 5.1 Codex Max (Codex CLI)19.7 score加权平均性能±2.5 (one standard deviation)条件不完整Table 1 · PostTrainBench and OpenAI PostTrainBench Lite—未披露PostTrainBench : Can LLM Agents Automate LLM Post-Training?发布 —报告 —
Gemini 3 Pro (Gemini CLI)18.1 score加权平均性能±2.4 (one standard deviation)条件不完整Table 1 · PostTrainBench and OpenAI PostTrainBench Lite—未披露PostTrainBench : Can LLM Agents Automate LLM Post-Training?发布 —报告 —
Base Model (Few-Shot)18.1 score加权平均性能条件不完整Table 1 · PostTrainBench and OpenAI PostTrainBench Lite—未披露PostTrainBench : Can LLM Agents Automate LLM Post-Training?发布 —报告 —
GPT 5.3 Codex (High) (Codex CLI)17.8 score加权平均性能±3.6 (one standard deviation)条件不完整Table 1 · PostTrainBench and OpenAI PostTrainBench Lite—未披露PostTrainBench : Can LLM Agents Automate LLM Post-Training?发布 —报告 —
Claude Opus 4.5 (OpenCode)17.3 score加权平均性能条件不完整Table 1 · PostTrainBench and OpenAI PostTrainBench Lite—未披露PostTrainBench : Can LLM Agents Automate LLM Post-Training?发布 —报告 —
GPT 5.2 Codex (Codex CLI)17.2 score加权平均性能±1.6 (one standard deviation)条件不完整Table 1 · PostTrainBench and OpenAI PostTrainBench Lite—未披露PostTrainBench : Can LLM Agents Automate LLM Post-Training?发布 —报告 —
Claude Opus 4.5 (Claude Code)17.1 score加权平均性能±4.5 (one standard deviation)条件不完整Table 1 · PostTrainBench and OpenAI PostTrainBench Lite—未披露PostTrainBench : Can LLM Agents Automate LLM Post-Training?发布 —报告 —
Claude Sonnet 4.6 (Claude Code)16.4 score加权平均性能条件不完整Table 1 · PostTrainBench and OpenAI PostTrainBench Lite—未披露PostTrainBench : Can LLM Agents Automate LLM Post-Training?发布 —报告 —
Gemini 3 Pro (OpenCode)14.9 score加权平均性能条件不完整Table 1 · PostTrainBench and OpenAI PostTrainBench Lite—未披露PostTrainBench : Can LLM Agents Automate LLM Post-Training?发布 —报告 —
GLM 5 (OpenCode)13.9 score加权平均性能条件不完整Table 1 · PostTrainBench and OpenAI PostTrainBench Lite—未披露PostTrainBench : Can LLM Agents Automate LLM Post-Training?发布 —报告 —
GPT 5.3 Codex (Med) (Codex CLI)13.8 score加权平均性能±0.8 (one standard deviation)条件不完整Table 1 · PostTrainBench and OpenAI PostTrainBench Lite—未披露PostTrainBench : Can LLM Agents Automate LLM Post-Training?发布 —报告 —
Kimi K2.5 (OpenCode)10.3 score加权平均性能条件不完整Table 1 · PostTrainBench and OpenAI PostTrainBench Lite—未披露PostTrainBench : Can LLM Agents Automate LLM Post-Training?发布 —报告 —
Claude Sonnet 4.5 (Claude Code)9.9 score加权平均性能条件不完整Table 1 · PostTrainBench and OpenAI PostTrainBench Lite—未披露PostTrainBench : Can LLM Agents Automate LLM Post-Training?发布 —报告 —
MiniMax M2.5 (OpenCode)9.5 score加权平均性能条件不完整Table 1 · PostTrainBench and OpenAI PostTrainBench Lite—未披露PostTrainBench : Can LLM Agents Automate LLM Post-Training?发布 —报告 —
MiniMax M2.1 (OpenCode)9.3 score加权平均性能条件不完整Table 1 · PostTrainBench and OpenAI PostTrainBench Lite—未披露PostTrainBench : Can LLM Agents Automate LLM Post-Training?发布 —报告 —
GPT 5.1 Codex Max (OpenCode)7.7 score加权平均性能条件不完整Table 1 · PostTrainBench and OpenAI PostTrainBench Lite—未披露PostTrainBench : Can LLM Agents Automate LLM Post-Training?发布 —报告 —
Base Model (Zero-Shot)7.5 score加权平均性能条件不完整Table 1 · PostTrainBench and OpenAI PostTrainBench Lite—未披露PostTrainBench : Can LLM Agents Automate LLM Post-Training?发布 —报告 —
GLM 4.7 (OpenCode)7.5 score加权平均性能条件不完整Table 1 · PostTrainBench and OpenAI PostTrainBench Lite—未披露PostTrainBench : Can LLM Agents Automate LLM Post-Training?发布 —报告 —
Qwen3 Max (Claude Code)7.4 score加权平均性能条件不完整Table 1 · PostTrainBench and OpenAI PostTrainBench Lite—未披露PostTrainBench : Can LLM Agents Automate LLM Post-Training?发布 —报告 —
Kimi K2 Thinking (OpenCode)7.2 score加权平均性能条件不完整Table 1 · PostTrainBench and OpenAI PostTrainBench Lite—未披露PostTrainBench : Can LLM Agents Automate LLM Post-Training?发布 —报告 —

任务与测量

Benchmark 协议档案

任务/对象
原任务配置下的模型或智能体系统
测量目标
评测智能体能否在固定计算预算内,通过后训练改进基础模型。
评分/结果口径
加权平均性能 · 表 1 的加权平均性能。原生 CLI 前沿智能体为三次独立运行,± 为一个标准差;其他配置为单次运行。
解释边界
定向基准提升、测试污染与未经授权的捷径需要分别核查。

一项已报告评测

来源评测 Official Instruct Models (baseline) · Table 1 · PostTrainBench and OpenAI PostTrainBench Lite.

报告指标: 加权平均性能 · 51.1.

表 1 的加权平均性能。原生 CLI 前沿智能体为三次独立运行,± 为一个标准差;其他配置为单次运行。 见原文协议;不推断独立试验数量。

原文 Table 1 报告的 Official Instruct Models (baseline) 测量结果;数值为转录,未独立复现实验。

测量档案 · NUWA 解读

档案区分来源方法阅读与既有目录信息;已经公开不代表完成独立证据复核或双语编辑复核。

测量构念
编程智能体能否通过后训练自主改善给定基础模型?
任务与样本
四种小基础模型分别配目标基准,每次限单H100十小时,以保留集评价提交检查点。
判分与失效情形
提交后训练检查点的保留目标基准得分。
系统条件
单H100十小时,每次配基础模型与目标基准。
统计含义
来源报告的结果表述;这不等同于已确定运行次数、分母或估计方法: 最佳智能体平均23.2%,基础7.5%,官方指令模型51.1%。
效度与解释
单任务优化、有限算力和前沿智能体仅三次运行限制外推及方差估计,污染判断可能出错。
适用研究问题
模型建议:表现增益旁保留目标任务与检查点完整性审查。

跨报告证据

相同 Benchmark 名称可能对应不同任务、计分规则和系统配置。各来源分别保留,比较组说明具体对齐了哪些条件。

原始来源图表与材料

原文报告结果

原文顺序 · 原文配置

加权平均性能

0–100
Official Instruct Models (baseline)
51.1
Claude Opus 4.6 (Claude Code)
23.2
Gemini 3.1 Pro (OpenCode)
21.6
GPT-5.2 (Codex CLI)
21.4
GPT 5.4 (High) (Codex CLI)
20.2
GPT 5.1 Codex Max (Codex CLI)
19.7
Gemini 3 Pro (Gemini CLI)
18.1
Base Model (Few-Shot)
18.1
GPT 5.3 Codex (High) (Codex CLI)
17.8
Claude Opus 4.5 (OpenCode)
17.3
GPT 5.2 Codex (Codex CLI)
17.2
Claude Opus 4.5 (Claude Code)
17.1
显示 12 / 25 个系统

数值描述原文协议下的测量结果,不是综合安全评分。

表 1 的加权平均性能。原生 CLI 前沿智能体为三次独立运行,± 为一个标准差;其他配置为单次运行。 未单独注明评测日期;下表保留发表或记录日期。

评测条件与系统配置
Official Instruct Models (baseline)
见原文协议;不推断独立试验数量。 · Table 1 · PostTrainBench and OpenAI PostTrainBench Lite
modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
Claude Opus 4.6 (Claude Code)
见原文协议;不推断独立试验数量。 · Table 1 · PostTrainBench and OpenAI PostTrainBench Lite
modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
Gemini 3.1 Pro (OpenCode)
见原文协议;不推断独立试验数量。 · Table 1 · PostTrainBench and OpenAI PostTrainBench Lite
modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
GPT-5.2 (Codex CLI)
见原文协议;不推断独立试验数量。 · Table 1 · PostTrainBench and OpenAI PostTrainBench Lite
modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
GPT 5.4 (High) (Codex CLI)
见原文协议;不推断独立试验数量。 · Table 1 · PostTrainBench and OpenAI PostTrainBench Lite
modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
GPT 5.1 Codex Max (Codex CLI)
见原文协议;不推断独立试验数量。 · Table 1 · PostTrainBench and OpenAI PostTrainBench Lite
modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
Gemini 3 Pro (Gemini CLI)
见原文协议;不推断独立试验数量。 · Table 1 · PostTrainBench and OpenAI PostTrainBench Lite
modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
Base Model (Few-Shot)
见原文协议;不推断独立试验数量。 · Table 1 · PostTrainBench and OpenAI PostTrainBench Lite
modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
GPT 5.3 Codex (High) (Codex CLI)
见原文协议;不推断独立试验数量。 · Table 1 · PostTrainBench and OpenAI PostTrainBench Lite
modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
Claude Opus 4.5 (OpenCode)
见原文协议;不推断独立试验数量。 · Table 1 · PostTrainBench and OpenAI PostTrainBench Lite
modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
GPT 5.2 Codex (Codex CLI)
见原文协议;不推断独立试验数量。 · Table 1 · PostTrainBench and OpenAI PostTrainBench Lite
modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
Claude Opus 4.5 (Claude Code)
见原文协议;不推断独立试验数量。 · Table 1 · PostTrainBench and OpenAI PostTrainBench Lite
modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
Claude Sonnet 4.6 (Claude Code)
见原文协议;不推断独立试验数量。 · Table 1 · PostTrainBench and OpenAI PostTrainBench Lite
modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
Gemini 3 Pro (OpenCode)
见原文协议;不推断独立试验数量。 · Table 1 · PostTrainBench and OpenAI PostTrainBench Lite
modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
GLM 5 (OpenCode)
见原文协议;不推断独立试验数量。 · Table 1 · PostTrainBench and OpenAI PostTrainBench Lite
modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
GPT 5.3 Codex (Med) (Codex CLI)
见原文协议;不推断独立试验数量。 · Table 1 · PostTrainBench and OpenAI PostTrainBench Lite
modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
Kimi K2.5 (OpenCode)
见原文协议;不推断独立试验数量。 · Table 1 · PostTrainBench and OpenAI PostTrainBench Lite
modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
Claude Sonnet 4.5 (Claude Code)
见原文协议;不推断独立试验数量。 · Table 1 · PostTrainBench and OpenAI PostTrainBench Lite
modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
MiniMax M2.5 (OpenCode)
见原文协议;不推断独立试验数量。 · Table 1 · PostTrainBench and OpenAI PostTrainBench Lite
modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
MiniMax M2.1 (OpenCode)
见原文协议;不推断独立试验数量。 · Table 1 · PostTrainBench and OpenAI PostTrainBench Lite
modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
GPT 5.1 Codex Max (OpenCode)
见原文协议;不推断独立试验数量。 · Table 1 · PostTrainBench and OpenAI PostTrainBench Lite
modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
Base Model (Zero-Shot)
见原文协议;不推断独立试验数量。 · Table 1 · PostTrainBench and OpenAI PostTrainBench Lite
modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
GLM 4.7 (OpenCode)
见原文协议;不推断独立试验数量。 · Table 1 · PostTrainBench and OpenAI PostTrainBench Lite
modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
Qwen3 Max (Claude Code)
见原文协议;不推断独立试验数量。 · Table 1 · PostTrainBench and OpenAI PostTrainBench Lite
modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
Kimi K2 Thinking (OpenCode)
见原文协议;不推断独立试验数量。 · Table 1 · PostTrainBench and OpenAI PostTrainBench Lite
modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
原文报告结果 · 原文顺序
系统 / 配置加权平均性能发表 / 核验日期
Official Instruct Models (baseline)未注明 Harness51.1来源核验2026-10-25
Claude Opus 4.6 (Claude Code)未注明 Harness23.2±1.8 (one standard deviation)来源核验2026-10-25
Gemini 3.1 Pro (OpenCode)未注明 Harness21.6±1.1 (one standard deviation)来源核验2026-10-25
GPT-5.2 (Codex CLI)未注明 Harness21.4±2.4 (one standard deviation)来源核验2026-10-25
GPT 5.4 (High) (Codex CLI)未注明 Harness20.2±2.4 (one standard deviation)来源核验2026-10-25
GPT 5.1 Codex Max (Codex CLI)未注明 Harness19.7±2.5 (one standard deviation)来源核验2026-10-25
Gemini 3 Pro (Gemini CLI)未注明 Harness18.1±2.4 (one standard deviation)来源核验2026-10-25
Base Model (Few-Shot)未注明 Harness18.1来源核验2026-10-25
GPT 5.3 Codex (High) (Codex CLI)未注明 Harness17.8±3.6 (one standard deviation)来源核验2026-10-25
Claude Opus 4.5 (OpenCode)未注明 Harness17.3来源核验2026-10-25
GPT 5.2 Codex (Codex CLI)未注明 Harness17.2±1.6 (one standard deviation)来源核验2026-10-25
Claude Opus 4.5 (Claude Code)未注明 Harness17.1±4.5 (one standard deviation)来源核验2026-10-25
Claude Sonnet 4.6 (Claude Code)未注明 Harness16.4来源核验2026-10-25
Gemini 3 Pro (OpenCode)未注明 Harness14.9来源核验2026-10-25
GLM 5 (OpenCode)未注明 Harness13.9来源核验2026-10-25
GPT 5.3 Codex (Med) (Codex CLI)未注明 Harness13.8±0.8 (one standard deviation)来源核验2026-10-25
Kimi K2.5 (OpenCode)未注明 Harness10.3来源核验2026-10-25
Claude Sonnet 4.5 (Claude Code)未注明 Harness9.9来源核验2026-10-25
MiniMax M2.5 (OpenCode)未注明 Harness9.5来源核验2026-10-25
MiniMax M2.1 (OpenCode)未注明 Harness9.3来源核验2026-10-25
GPT 5.1 Codex Max (OpenCode)未注明 Harness7.7来源核验2026-10-25
Base Model (Zero-Shot)未注明 Harness7.5来源核验2026-10-25
GLM 4.7 (OpenCode)未注明 Harness7.5来源核验2026-10-25
Qwen3 Max (Claude Code)未注明 Harness7.4来源核验2026-10-25
Kimi K2 Thinking (OpenCode)未注明 Harness7.2来源核验2026-10-25

相关研究问题

参考文献

数值结果由所引研究的作者报告。

  1. [1] Ben Rank ∗, Hardik Bhatnagar ∗ 等. PostTrainBench : Can LLM Agents Automate LLM Post-Training?. 2026-03-09. v2 [arXiv]; Author affiliations on the original paper title page; Table 1