评测档案

Virology Capabilities Test (VCT)

测量专业病毒学问题中的知识与排障响应。

SecureBio · 巴西 ABC 联邦大学 · Center for AI Safety · 麻省理工学院 / arXiv:2504.16137v2 / Capability · 任务能力

来源与出处 ↓ 阅读研究记录 →

任务与测量

Benchmark 协议档案

任务／对象: 回答专门病毒学排障问题的模型
测量目标: 有版本的多模态题目测试表现。
评分／结果口径: 多选格式准确率 · 多选格式的平均准确率；部分模型只有一次运行，原文星号保留在系统名。知识测验成绩不代表端到端生物危险任务能力。
解释边界: 知识问答准确率不证明实际有害任务执行能力；v1 与 v2 分数不可直接互换。

一项已报告评测

来源评测 Claude 3.5 Sonnet (Jun ’24) · Table 1 · Virology Capabilities Test (VCT).

报告指标: 多选格式准确率 · 26.9%.

多选格式的平均准确率；部分模型只有一次运行，原文星号保留在系统名。知识测验成绩不代表端到端生物危险任务能力。三次评测运行；原文报告所有模型的均值标准误低于 1%。

原文 Table 1 报告的 Claude 3.5 Sonnet (Jun ’24) 测量结果；数值为转录，未独立复现实验。

测量档案 · NUWA 解读

档案区分来源方法阅读与既有目录信息；已经公开不代表完成独立证据复核或双语编辑复核。

测量构念: 模型回答专家编写的病毒学问题表现如何？
任务与样本: 322道多模态题采用多选全对计分，人类比较限于各自专业范围。
判分与失效情形: 全部正确陈述全选才计分，汉明差异另分析。
系统条件: 322多模态题，人类在各自子专业内比较。
统计含义: 来源报告的结果表述；这不等同于已确定运行次数、分母或估计方法： o3为43.8%，可联网专家均值22.1%。论文另分析答案集合差异和替代格式（§5.1）。
效度与解释: 专家可能对答案有分歧，具身与协作隐性知识覆盖有限（§6、附录A3）。
适用研究问题: 模型建议：保留专业匹配和计分格式，仅作为非操作性能力证据。

Virology Capabilities Test (VCT): A Multimodal Virology Q&A Benchmark · AbstractSelected original resource https://arxiv.org/html/2504.16137v2; sha256:3b0bc61ab556258ca26318138a0ac00dbfb59bb8d3318a8038b71a6788be0d99; archived source capture; exact capture time not independently established
Virology Capabilities Test (VCT): A Multimodal Virology Q&A Benchmark · §5.1 SetupSelected original resource https://arxiv.org/html/2504.16137v2; sha256:3b0bc61ab556258ca26318138a0ac00dbfb59bb8d3318a8038b71a6788be0d99; archived source capture; exact capture time not independently established
Virology Capabilities Test (VCT): A Multimodal Virology Q&A Benchmark · §6 DiscussionSelected original resource https://arxiv.org/html/2504.16137v2; sha256:3b0bc61ab556258ca26318138a0ac00dbfb59bb8d3318a8038b71a6788be0d99; archived source capture; exact capture time not independently established
Virology Capabilities Test (VCT): A Multimodal Virology Q&A Benchmark · Appendix A3 Limitations of This WorkSelected original resource https://arxiv.org/html/2504.16137v2; sha256:3b0bc61ab556258ca26318138a0ac00dbfb59bb8d3318a8038b71a6788be0d99; archived source capture; exact capture time not independently established

跨报告证据

相同 Benchmark 名称可能对应不同任务、计分规则和系统配置。各来源分别保留，比较组说明具体对齐了哪些条件。

Virology Capabilities Test (VCT): A Multimodal Virology Q&A Benchmark

实际评测方: 未披露

12 条结果记录 · 12 个报告系统名称

协议与比较依据 (0)

原始来源图表与材料

原文报告结果

原文顺序 · 原文配置

多选格式准确率

0–100%

Claude 3.5 Sonnet (Jun ’24)

Claude 3.5 Sonnet (Jun ’24) · 26.9% · 多选格式的平均准确率；部分模型只有一次运行，原文星号保留在系统名。知识测验成绩不代表端到端生物危险任务能力。 · 三次评测运行；原文报告所有模型的均值标准误低于 1%。

26.9%

Claude 3.5 Sonnet (Oct ’24)

Claude 3.5 Sonnet (Oct ’24) · 33.6% · 多选格式的平均准确率；部分模型只有一次运行，原文星号保留在系统名。知识测验成绩不代表端到端生物危险任务能力。 · 三次评测运行；原文报告所有模型的均值标准误低于 1%。

33.6%

Claude 3.7 Sonnet (Feb ’25)*

Claude 3.7 Sonnet (Feb ’25)* · 30.8% · 多选格式的平均准确率；部分模型只有一次运行，原文星号保留在系统名。知识测验成绩不代表端到端生物危险任务能力。 · 三次评测运行；原文报告所有模型的均值标准误低于 1%。

30.8%

Gemini 1.5 Pro

Gemini 1.5 Pro · 25.4% · 多选格式的平均准确率；部分模型只有一次运行，原文星号保留在系统名。知识测验成绩不代表端到端生物危险任务能力。 · 三次评测运行；原文报告所有模型的均值标准误低于 1%。

25.4%

Gemini 2.0 Pro (exp.)

Gemini 2.0 Pro (exp.) · 27.4% · 多选格式的平均准确率；部分模型只有一次运行，原文星号保留在系统名。知识测验成绩不代表端到端生物危险任务能力。 · 三次评测运行；原文报告所有模型的均值标准误低于 1%。

27.4%

Gemini 2.5 Pro (exp.)

Gemini 2.5 Pro (exp.) · 37.6% · 多选格式的平均准确率；部分模型只有一次运行，原文星号保留在系统名。知识测验成绩不代表端到端生物危险任务能力。 · 一次评测运行（原文表格以斜体标记）。

37.6%

GPT-4o (Nov ’24)

GPT-4o (Nov ’24) · 18.8% · 多选格式的平均准确率；部分模型只有一次运行，原文星号保留在系统名。知识测验成绩不代表端到端生物危险任务能力。 · 三次评测运行；原文报告所有模型的均值标准误低于 1%。

18.8%

GPT-4.1 (Apr ’25)

GPT-4.1 (Apr ’25) · 26.6% · 多选格式的平均准确率；部分模型只有一次运行，原文星号保留在系统名。知识测验成绩不代表端到端生物危险任务能力。 · 三次评测运行；原文报告所有模型的均值标准误低于 1%。

26.6%

GPT-4.5 Preview (Feb ’25)

GPT-4.5 Preview (Feb ’25) · 28.3% · 多选格式的平均准确率；部分模型只有一次运行，原文星号保留在系统名。知识测验成绩不代表端到端生物危险任务能力。 · 三次评测运行；原文报告所有模型的均值标准误低于 1%。

28.3%

o1 (Dec ’24)

o1 (Dec ’24) · 35.4% · 多选格式的平均准确率；部分模型只有一次运行，原文星号保留在系统名。知识测验成绩不代表端到端生物危险任务能力。 · 一次评测运行（原文表格以斜体标记）。

35.4%

o3 (Apr ’25)

o3 (Apr ’25) · 43.8% · 多选格式的平均准确率；部分模型只有一次运行，原文星号保留在系统名。知识测验成绩不代表端到端生物危险任务能力。 · 三次评测运行；原文报告所有模型的均值标准误低于 1%。

43.8%

o4-mini (Apr ’25)

o4-mini (Apr ’25) · 37.0% · 多选格式的平均准确率；部分模型只有一次运行，原文星号保留在系统名。知识测验成绩不代表端到端生物危险任务能力。 · 一次评测运行（原文表格以斜体标记）。

37.0%

显示 12 / 12 个系统

数值描述原文协议下的测量结果，不是综合安全评分。

多选格式的平均准确率；部分模型只有一次运行，原文星号保留在系统名。知识测验成绩不代表端到端生物危险任务能力。未单独注明评测日期；下表保留发表或记录日期。

评测条件与系统配置

Claude 3.5 Sonnet (Jun ’24): 三次评测运行；原文报告所有模型的均值标准误低于 1%。 · Table 1 · Virology Capabilities Test (VCT); modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

Claude 3.5 Sonnet (Oct ’24): 三次评测运行；原文报告所有模型的均值标准误低于 1%。 · Table 1 · Virology Capabilities Test (VCT); modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

Claude 3.7 Sonnet (Feb ’25)*: 三次评测运行；原文报告所有模型的均值标准误低于 1%。 · Table 1 · Virology Capabilities Test (VCT); modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

Gemini 1.5 Pro: 三次评测运行；原文报告所有模型的均值标准误低于 1%。 · Table 1 · Virology Capabilities Test (VCT); modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

Gemini 2.0 Pro (exp.): 三次评测运行；原文报告所有模型的均值标准误低于 1%。 · Table 1 · Virology Capabilities Test (VCT); modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

Gemini 2.5 Pro (exp.): 一次评测运行（原文表格以斜体标记）。 · Table 1 · Virology Capabilities Test (VCT); modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

GPT-4o (Nov ’24): 三次评测运行；原文报告所有模型的均值标准误低于 1%。 · Table 1 · Virology Capabilities Test (VCT); modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

GPT-4.1 (Apr ’25): 三次评测运行；原文报告所有模型的均值标准误低于 1%。 · Table 1 · Virology Capabilities Test (VCT); modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

GPT-4.5 Preview (Feb ’25): 三次评测运行；原文报告所有模型的均值标准误低于 1%。 · Table 1 · Virology Capabilities Test (VCT); modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

o1 (Dec ’24): 一次评测运行（原文表格以斜体标记）。 · Table 1 · Virology Capabilities Test (VCT); modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

o3 (Apr ’25): 三次评测运行；原文报告所有模型的均值标准误低于 1%。 · Table 1 · Virology Capabilities Test (VCT); modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

o4-mini (Apr ’25): 一次评测运行（原文表格以斜体标记）。 · Table 1 · Virology Capabilities Test (VCT); modelVersion: 未注明 · harness: 未注明 · tools: 未注明 · budget: 未注明

原文报告结果 · 原文顺序
系统 / 配置	多选格式准确率	发表 / 核验日期
Claude 3.5 Sonnet (Jun ’24)未注明 Harness	26.9%	来源核验2026-10-25
Claude 3.5 Sonnet (Oct ’24)未注明 Harness	33.6%	来源核验2026-10-25
Claude 3.7 Sonnet (Feb ’25)*未注明 Harness	30.8%	来源核验2026-10-25
Gemini 1.5 Pro未注明 Harness	25.4%	来源核验2026-10-25
Gemini 2.0 Pro (exp.)未注明 Harness	27.4%	来源核验2026-10-25
Gemini 2.5 Pro (exp.)未注明 Harness	37.6%	来源核验2026-10-25
GPT-4o (Nov ’24)未注明 Harness	18.8%	来源核验2026-10-25
GPT-4.1 (Apr ’25)未注明 Harness	26.6%	来源核验2026-10-25
GPT-4.5 Preview (Feb ’25)未注明 Harness	28.3%	来源核验2026-10-25
o1 (Dec ’24)未注明 Harness	35.4%	来源核验2026-10-25
o3 (Apr ’25)未注明 Harness	43.8%	来源核验2026-10-25
o4-mini (Apr ’25)未注明 Harness	37.0%	来源核验2026-10-25

参考文献

数值结果由所引研究的作者报告。

[1] Jasper Götting a, Pedro Medeiros a 等. Virology Capabilities Test (VCT): A Multimodal Virology Q&A Benchmark. 2025-04-29. v2 [arXiv]; Author affiliations on the original paper title page; Table 1

搜索 NUWA Index

Virology Capabilities Test (VCT)

任务与测量

一项已报告评测

跨报告证据