白泽(Whitzard)女娲实验室 ↗
NUWANUWA INDEX

搜索 NUWA Index

研究 · 测量协议 · 评测结果 · 观点

English
← NUWA Index

评测档案

Virology Capabilities Test v2

修订 VCT 题目以减少捷径作答并提高测量效度。

来源与出处 ↓ 阅读研究记录 →

任务与测量

Benchmark 协议档案

任务/对象
回答专门病毒学排障问题的模型
测量目标
有版本的多模态题目测试表现。
解释边界
知识问答准确率不证明实际有害任务执行能力;v1 与 v2 分数不可直接互换。
测量档案 · NUWA 解读

档案区分来源方法阅读与既有目录信息;已经公开不代表完成独立证据复核或双语编辑复核。

测量构念
修订能否提高VCT答案可靠性与抗捷径能力?
任务与样本
以回答模式确定性规则优先复审,并删除或修改问题,测试缺题干或缺图条件。
判分与失效情形
修订题正确率,跨模型逐题上限下界不是单模型正确率。
系统条件
279题,内容修订及捷径测试使新旧分不能直接汇总。
统计含义
来源报告的结果表述;这不等同于已确定运行次数、分母或估计方法: VCT-v2有279题,所列最佳模型49.2%。 逐题跨模型聚合得到有效上限至少79%,并非单模型得分。
效度与解释
上限只是下界;修改题目的表现不能直接验证实际用户增益。
适用研究问题
模型建议:引用版本和题目总体,区分观测正确率与推断空间。
  • Introducing VCT-v2 — the updated Virology Capabilities Test · Patching potential issues in VCTSelected original resource https://securebio.org/blog/introducing-vct-v2/; sha256:be1ae6cf6276b2e9dcd4fd7cb96e652548b619e15cb341e7392245dfcdaa729b; archived source capture; exact capture time not independently established
  • Introducing VCT-v2 — the updated Virology Capabilities Test · Presenting our updated benchmark — VCT-v2Selected original resource https://securebio.org/blog/introducing-vct-v2/; sha256:be1ae6cf6276b2e9dcd4fd7cb96e652548b619e15cb341e7392245dfcdaa729b; archived source capture; exact capture time not independently established
  • Introducing VCT-v2 — the updated Virology Capabilities Test · VCT-v2 is substantially more shortcut-resistant than VCTSelected original resource https://securebio.org/blog/introducing-vct-v2/; sha256:be1ae6cf6276b2e9dcd4fd7cb96e652548b619e15cb341e7392245dfcdaa729b; archived source capture; exact capture time not independently established
  • Introducing VCT-v2 — the updated Virology Capabilities Test · Monitoring VCT-v2 for saturationSelected original resource https://securebio.org/blog/introducing-vct-v2/; sha256:be1ae6cf6276b2e9dcd4fd7cb96e652548b619e15cb341e7392245dfcdaa729b; archived source capture; exact capture time not independently established
原始来源图表与材料
Virology Capabilities Test v2 — Source figure
Source figure · 原文 Source figure。请结合下方的协议范围与局限阅读。 查看原图 ↗

相关研究问题

参考文献

  1. [1] Introducing VCT-v2 — the updated Virology Capabilities Test. 2026-09-11 ; Official publication masthead and article byline; Source figure