评测档案
Virology Capabilities Test v2
修订 VCT 题目以减少捷径作答并提高测量效度。
任务与测量
Benchmark 协议档案
- 任务/对象
- 回答专门病毒学排障问题的模型
- 测量目标
- 有版本的多模态题目测试表现。
- 解释边界
- 知识问答准确率不证明实际有害任务执行能力;v1 与 v2 分数不可直接互换。
测量档案 · NUWA 解读
档案区分来源方法阅读与既有目录信息;已经公开不代表完成独立证据复核或双语编辑复核。
- 测量构念
- 修订能否提高VCT答案可靠性与抗捷径能力?
- 任务与样本
- 以回答模式确定性规则优先复审,并删除或修改问题,测试缺题干或缺图条件。
- 判分与失效情形
- 修订题正确率,跨模型逐题上限下界不是单模型正确率。
- 系统条件
- 279题,内容修订及捷径测试使新旧分不能直接汇总。
- 统计含义
- 来源报告的结果表述;这不等同于已确定运行次数、分母或估计方法: VCT-v2有279题,所列最佳模型49.2%。 逐题跨模型聚合得到有效上限至少79%,并非单模型得分。
- 效度与解释
- 上限只是下界;修改题目的表现不能直接验证实际用户增益。
- 适用研究问题
- 模型建议:引用版本和题目总体,区分观测正确率与推断空间。
- Introducing VCT-v2 — the updated Virology Capabilities Test · Patching potential issues in VCTSelected original resource https://securebio.org/blog/introducing-vct-v2/; sha256:be1ae6cf6276b2e9dcd4fd7cb96e652548b619e15cb341e7392245dfcdaa729b; archived source capture; exact capture time not independently established
- Introducing VCT-v2 — the updated Virology Capabilities Test · Presenting our updated benchmark — VCT-v2Selected original resource https://securebio.org/blog/introducing-vct-v2/; sha256:be1ae6cf6276b2e9dcd4fd7cb96e652548b619e15cb341e7392245dfcdaa729b; archived source capture; exact capture time not independently established
- Introducing VCT-v2 — the updated Virology Capabilities Test · VCT-v2 is substantially more shortcut-resistant than VCTSelected original resource https://securebio.org/blog/introducing-vct-v2/; sha256:be1ae6cf6276b2e9dcd4fd7cb96e652548b619e15cb341e7392245dfcdaa729b; archived source capture; exact capture time not independently established
- Introducing VCT-v2 — the updated Virology Capabilities Test · Monitoring VCT-v2 for saturationSelected original resource https://securebio.org/blog/introducing-vct-v2/; sha256:be1ae6cf6276b2e9dcd4fd7cb96e652548b619e15cb341e7392245dfcdaa729b; archived source capture; exact capture time not independently established
原始来源图表与材料

相关研究问题
化生放核 / 危险知识 →
来源测试领域知识和排障代理指标,而非端到端任务执行。
参考文献
- [1] Introducing VCT-v2 — the updated Virology Capabilities Test. 2026-09-11 ; Official publication masthead and article byline; Source figure