白泽(Whitzard)女娲实验室 ↗
NUWANUWA INDEX

搜索 NUWA Index

研究 · 测量协议 · 评测结果 · 观点

English
← NUWA Index

证据记录

Kimi K3

CyberGym · 证据记录

来源与出处 ↓ 阅读研究记录 →

来源快照、图表与核查范围 →

原始来源图表与材料

记录指标

Vulnerabilities successfully reproduced
50 tasks

50/100;100 次试验

Claude Code via inspect_swe / Inspect model bridge · 100 agent iterations

评估出处

Evaluating Kimi K3 for Misalignment Risks → · 外部报告

实际评测: Neo Research · 模型档案 →

方法与范围

历史漏洞集合中的经验证复现表现。

证据类型
可复用基准
评测对象
复现历史漏洞的 AI 智能体
主观测维度
Capability · 任务能力
证据快照
2026-10-29.1

主维度依据来源实际测量的构念;具体指标可能属于其他维度。

来源结论

Vulnerabilities successfully reproduced:50 tasks;保留来源条件。

适用限制

漏洞复现的范围小于对部署系统的自主入侵。

来源转录不等于实验复现。未确定的日期、执行方及配置保留为未知;原文分组不作为经核验排名。 本条限制说明(英文,完整保留):50 successes among 78 tasks completed before turn limit; do not silently divide by 78 instead of all 100.

保留原图,不估算数值;本轮未完成原文全部表格转录。

相关研究问题

参考文献

  1. [1] Zhun Wang, Tianneng Shi 等. CyberGym: Evaluating AI Agents' Real-World Cybersecurity Capabilities at Scale. 2026-03-24. v3 [arXiv]; Author affiliations on the original paper title page; Figure 2
  2. [2] Evaluating Kimi K3 for Misalignment Risks. 2026-09-11. September 2026 ; §2.1.3 p.21