NUWA 评测档案
LAB-Bench
模型在面向研究的科学任务中表现如何？
任务与测量
Benchmark 协议档案
- 任务／对象
- 给定任务配置中的模型或智能体。
- 测量目标
- 用结构化问题评测生物研究技能；纯文本或缺失输入子集采用独立协议。
- 评分／结果口径
- FigQA attempt, figure withheld · 用结构化问题评测生物研究技能；纯文本或缺失输入子集采用独立协议。
- 解释边界
- 衡量一般科研能力，不是端到端滥用任务或直接伤害概率。
SaferAI 在没有开发者合作的情况下评估公开 API，将自行开展的基准测试与明确标出的外部比较结果结合。报告区分任务能力、对抗诱导行为与尝试说服的意愿；各基准的配置和结果来源并不完全相同。
一项已报告评测
来源评测 Kimi K3 · LAB-Bench with figures/tables withheld.
报告指标: FigQA attempt, figure withheld · 79.6%.
用结构化问题评测生物研究技能；纯文本或缺失输入子集采用独立协议。 见报告特定样本与分母。
原文 §1.1.2; Figure 2 报告的测量；转录不等于独立复现实验。
测量档案 · NUWA 解读
档案区分来源方法阅读与既有目录信息；已经公开不代表完成独立证据复核或双语编辑复核。
- 测量构念
- 生物基准能否从教科书知识转向实际研究支持技能？
- 任务与样本
- LAB-Bench含逾2,400道选择题，覆盖文献、图表、数据库等研究支持任务，配部分专家基线。
- 判分与失效情形
- 研究支持选择题正确率，分子任务且人类基线覆盖不全。
- 系统条件
- 逾2,400题，不测操作性湿实验执行。
- 统计含义
- 来源报告的结果表述；这不等同于已确定运行次数、分母或估计方法： 因招募困难，人类专家未覆盖全题集（§3.5）。
- 效度与解释
- 作者不声称全面覆盖生物，无工具选择题不能确立真实实验执行或增益。
- 适用研究问题
- 模型建议：保留子任务、工具及真实人类覆盖，不提取操作性生物内容。
- LAB-Bench · AbstractSelected original resource https://arxiv.org/html/2407.10362; sha256:fb4550ba8cc17a4ffb2f30a3e9f1fe78a538a5c1d3508550942723e506ffe2c8; archived source capture; exact capture time not independently established
- LAB-Bench · §2.1 Dataset description and constructionSelected original resource https://arxiv.org/html/2407.10362; sha256:fb4550ba8cc17a4ffb2f30a3e9f1fe78a538a5c1d3508550942723e506ffe2c8; archived source capture; exact capture time not independently established
- LAB-Bench · §3 Discussion and LimitationsSelected original resource https://arxiv.org/html/2407.10362; sha256:fb4550ba8cc17a4ffb2f30a3e9f1fe78a538a5c1d3508550942723e506ffe2c8; archived source capture; exact capture time not independently established
- LAB-Bench · §3.5 Limitations in human evaluationSelected original resource https://arxiv.org/html/2407.10362; sha256:fb4550ba8cc17a4ffb2f30a3e9f1fe78a538a5c1d3508550942723e506ffe2c8; archived source capture; exact capture time not independently established
跨报告证据
相同 Benchmark 名称可能对应不同任务、计分规则和系统配置。各来源分别保留，比较组说明具体对齐了哪些条件。
Neo Research
Evaluating Kimi K3 for Misalignment Risks →
实际评测方: Neo Research
4 条结果记录 · 4 个报告系统名称
协议与比较依据 (0)
原始来源图表与材料
LAB-Bench with figures/tables withheld
原始评测方结果 · 来源顺序
筛选系统
FigQA attempt, figure withheld
0–100%
Kimi K3Kimi K3 · 79.6% · 用结构化问题评测生物研究技能；纯文本或缺失输入子集采用独立协议。 · 见报告特定样本与分母。
79.6%
GPT-5.6 TerraGPT-5.6 Terra · 72.9% · 用结构化问题评测生物研究技能；纯文本或缺失输入子集采用独立协议。 · 见报告特定样本与分母。
72.9%
Claude Sonnet 5Claude Sonnet 5 · 62.4% · 用结构化问题评测生物研究技能；纯文本或缺失输入子集采用独立协议。 · 见报告特定样本与分母。
62.4%
DeepSeek V4 Flash 0731DeepSeek V4 Flash 0731 · 50.3% · 用结构化问题评测生物研究技能；纯文本或缺失输入子集采用独立协议。 · 见报告特定样本与分母。
50.3%显示 4 / 4 个系统
用结构化问题评测生物研究技能；纯文本或缺失输入子集采用独立协议。
衡量一般科研能力，不是端到端滥用任务或直接伤害概率。 本评估显示报告日期和原始执行方。
评测条件与系统配置
- Kimi K3
- 见报告特定样本与分母。 · LAB-Bench with figures/tables withheld
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- GPT-5.6 Terra
- 见报告特定样本与分母。 · LAB-Bench with figures/tables withheld
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- Claude Sonnet 5
- 见报告特定样本与分母。 · LAB-Bench with figures/tables withheld
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
- DeepSeek V4 Flash 0731
- 见报告特定样本与分母。 · LAB-Bench with figures/tables withheld
- modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明
| 系统 / 配置 | FigQA attempt, figure withheld | TableQA attempt, table withheld | 发表 / 核验日期 |
|---|---|---|---|
| Kimi K3未注明 Harness | 79.6% | 68.4% | 发表2026-09-11 |
| GPT-5.6 Terra未注明 Harness | 72.9% | 61.5% | 发表2026-09-11 |
| Claude Sonnet 5未注明 Harness | 62.4% | 53.7% | 发表2026-09-11 |
| DeepSeek V4 Flash 0731未注明 Harness | 50.3% | 43.9% | 发表2026-09-11 |
评估出处
相关研究问题
化生放核 / 任务增益 →
该协议明确测量该问题或其使能子能力，结论保留给定条件。
参考文献
- [1] LAB-Bench. 2024-07-14
- [2] GLM-5.2 Risk Evaluation Report. 2026-08-02. v1.1 · revised 26 August 2026 ; Report masthead and stated evaluation methodology
- [3] Evaluating Kimi K3 for Misalignment Risks. 2026-09-11. September 2026 ; §1.1.2; Figure 2