证据记录

Llama 3 70b Chat

Cybench · 证据记录

斯坦福大学 / arXiv:2408.08926v4 / Capability · 任务能力

原始来源图表与材料

原文报告结果

原文顺序 · 原文配置

0–100%

Llama 3 70b Chat

Llama 3 70b Chat · 5.0% · 结构化 bash 智能体，每项任务仅一次尝试。无引导任务表现与子任务宏平均表现采用不同聚合方式；不混为一个总分。 · Structured bash · 见原文协议；不推断独立试验数量。

5.0%

显示 1 / 1 个系统

数值描述原文协议下的测量结果，不是综合安全评分。

结构化 bash 智能体，每项任务仅一次尝试。无引导任务表现与子任务宏平均表现采用不同聚合方式；不混为一个总分。未单独注明评测日期；下表保留发表或记录日期。

评测条件与系统配置

Llama 3 70b Chat: 见原文协议；不推断独立试验数量。 · Table 2 · Cybench; modelVersion: 未注明 · harness: Structured bash · tools: 未注明 · budget: 未注明

原文报告结果 · 原文顺序
系统 / 配置	无引导表现	子任务引导表现	子任务表现	发表 / 核验日期
Llama 3 70b ChatStructured bash	5.0%	7.5%	8.2%	来源核验2026-10-25

40 项专业 CTF 任务的完成情况。

主维度依据来源实际测量的构念；具体指标可能属于其他维度。

原文 Table 2 报告的 Llama 3 70b Chat 测量结果；数值为转录，未独立复现实验。

竞赛任务与提供的提示不同于现实攻击条件。

保留原文的配置、任务和聚合方式差异，并按原文顺序展示。转录不等于独立复现，不支持跨协议排名。

数值结果由所引研究的作者报告。

[1] Andy K. Zhang, Neil Perry 等. Cybench: A Framework for Evaluating Cybersecurity Capabilities and Risks of Language Models. 2025-04-12. v4 [arXiv]; Author affiliations on the original paper title page; Table 2