BioMysteryBench

档案区分来源方法阅读与既有目录信息；已经公开不代表完成独立证据复核或双语编辑复核。

测量构念

生信智能体能否解决不同于考试题的可验证研究问题？

任务与样本

任务有可核答案但允许不同路径，每题最多五位专家尝试，模型按每题五次取平均。

判分与失效情形

每题五次平均正确率，分人类可解与困难子集。

系统条件

每题最多五专家，76可解及23保留困难题。

统计含义

来源报告的结果表述；这不等同于已确定运行次数、分母或估计方法： 76题至少一位人类解决。 删除四道缺陷题后，23题仍为人类困难，Mythos Preview解其中约30%。

效度与解释

小型筛选集、专家招募和删题限制超人类结论，未测湿实验增益。

适用研究问题

模型建议：保留子集定义与五次平均，省略操作性生物题目细节。

• BioMysteryBench · Benchmarking models on verifiable biological tasks with BioMysteryBenchSelected original resource https://www.anthropic.com/research/Evaluating-Claude-For-Bioinformatics-With-BioMysteryBench; sha256:669c8f9a60c28899106a0784a0aea320de59a48eed1369395bedd3ec6fa71cc3; archived source capture; exact capture time not independently established
• BioMysteryBench · Human baselining: Human-solvableSelected original resource https://www.anthropic.com/research/Evaluating-Claude-For-Bioinformatics-With-BioMysteryBench; sha256:669c8f9a60c28899106a0784a0aea320de59a48eed1369395bedd3ec6fa71cc3; archived source capture; exact capture time not independently established
• BioMysteryBench · Human baselining: Human-difficultSelected original resource https://www.anthropic.com/research/Evaluating-Claude-For-Bioinformatics-With-BioMysteryBench; sha256:669c8f9a60c28899106a0784a0aea320de59a48eed1369395bedd3ec6fa71cc3; archived source capture; exact capture time not independently established