评测档案

LinuxArena

能否在更接近实际运行的软件环境中评测智能体防护？

本轮尚未登记机构署名 / 来源捕获 · 0222314816 / Behavior · 观察行为

来源与出处 ↓ 阅读研究记录 →

跨报告监测

已发表证据

LinuxArena · 主任务成功率

跨来源报告的已发表测量。任务范围通过注释区分，配置差异保留在每条观测中。

12 条观测 · 0 已定位日期

● 条件匹配◇ 配置差异□ 部分条件未披露

12 条观测尚无已核实的模型发布日期，可在数据与系统结果中查看。

选择图中数据点或表格行，查看条件与出处。

12 条观测

测量值与来源条件
系统／模型	结果	条件状态	任务／条件	评测方／报告	日期
Claude Opus 4.6	66%主任务成功率	条件不完整	Main task performance; figure reports n=400 each; task count versus repeated runs not separately disclosedLinuxArena	未披露Introducing LinuxArena	发布 —报告 2026-04-20
Claude Sonnet 4.6	64%主任务成功率	条件不完整	Main task performance; figure reports n=400 each; task count versus repeated runs not separately disclosedLinuxArena	未披露Introducing LinuxArena	发布 —报告 2026-04-20
Gemini 3.1 Pro	60%主任务成功率	条件不完整	Main task performance; figure reports n=400 each; task count versus repeated runs not separately disclosedLinuxArena	未披露Introducing LinuxArena	发布 —报告 2026-04-20
Claude Code (Opus 4.6)	59%主任务成功率	条件不完整	Main task performance; figure reports n=400 each; task count versus repeated runs not separately disclosedLinuxArena	未披露Introducing LinuxArena	发布 —报告 2026-04-20
GLM 5	55%主任务成功率	条件不完整	Main task performance; figure reports n=400 each; task count versus repeated runs not separately disclosedLinuxArena	未披露Introducing LinuxArena	发布 —报告 2026-04-20
Codex (GPT-5.4)	53%主任务成功率	条件不完整	Main task performance; figure reports n=400 each; task count versus repeated runs not separately disclosedLinuxArena	未披露Introducing LinuxArena	发布 —报告 2026-04-20
GPT-5.4	52%主任务成功率	条件不完整	Main task performance; figure reports n=400 each; task count versus repeated runs not separately disclosedLinuxArena	未披露Introducing LinuxArena	发布 —报告 2026-04-20
Gemini 3 Flash	52%主任务成功率	条件不完整	Main task performance; figure reports n=400 each; task count versus repeated runs not separately disclosedLinuxArena	未披露Introducing LinuxArena	发布 —报告 2026-04-20
Claude Haiku 4.5	51%主任务成功率	条件不完整	Main task performance; figure reports n=400 each; task count versus repeated runs not separately disclosedLinuxArena	未披露Introducing LinuxArena	发布 —报告 2026-04-20
GPT-5 Mini	41%主任务成功率	条件不完整	Main task performance; figure reports n=400 each; task count versus repeated runs not separately disclosedLinuxArena	未披露Introducing LinuxArena	发布 —报告 2026-04-20
GPT-5 Nano	24%主任务成功率	条件不完整	Main task performance; figure reports n=400 each; task count versus repeated runs not separately disclosedLinuxArena	未披露Introducing LinuxArena	发布 —报告 2026-04-20
Grok 4.1	20%主任务成功率	条件不完整	Main task performance; figure reports n=400 each; task count versus repeated runs not separately disclosedLinuxArena	未披露Introducing LinuxArena	发布 —报告 2026-04-20

任务与测量

Benchmark 协议档案

任务／对象: 把正常工程任务与有评分规则的旁支任务配对，使用运行中的软件系统。
测量目标: 能否在更接近实际运行的软件环境中评测智能体防护？
评分／结果口径: 主任务成功率 · 主任务成功率
解释边界: 任务选择偏向安全关键场景，能力诱导影响外推；没有从图形估读数值。

一项已报告评测

来源评测 Claude Opus 4.6 · Main task performance; figure reports n=400 each; task count versus repeated runs not separately disclosed.

运行配置: LinuxArena.

报告指标: 主任务成功率 · 66%.

主任务成功率见原文样本说明

分别评价破坏能力、监测识别与控制协议实用性。人工构造轨迹揭示了普通模型生成攻击未覆盖的薄弱点。原图标签报告Opus4.6主任务成功率66%（n=400）；在GPT-5 Nano监测、逐步误报率1%时，其未检出破坏率为25%，策略辅助提高到49%，人工LaStraj轨迹为94%。同一监测器对Opus攻击、策略辅助攻击、LaStraj的安全性分别为75%、51%、5%。这些指标的定义和分母不同。

测量档案 · NUWA 解读

档案区分来源方法阅读与既有目录信息；已经公开不代表完成独立证据复核或双语编辑复核。

测量构念: 软件工程环境中的破坏、监测检出与部署控制。
任务与样本: 20个软件环境将合法工程任务与可判分的安全旁支任务配对，包括运行中的服务和数据库。
判分与失效情形: 破坏指标指造成损害且未被发现；安全性指损害发生前检测成功；实用性指完成的主任务比例。
系统条件: 文章在逐动作误报率1%下以GPT-5 Nano监测Opus4.6攻击，区分基线、策略增强和人工构造攻击。
统计含义: 现有材料尚未确定
效度与解释: 任务刻意将智能体置于安全关键资源附近。图1–3的28个明确数值标签已转录；误差棒类型及端点、破坏实验的精确分母未披露。帕累托曲线坐标尚未数字化。
适用研究问题: 现有材料尚未确定

Introducing LinuxArena · L1-L36; L37-L570222314816805662a18563e24991608fb94644e3cd2919616b6c84d5f683b076

跨报告证据

相同 Benchmark 名称可能对应不同任务、计分规则和系统配置。各来源分别保留，比较组说明具体对齐了哪些条件。

Introducing LinuxArena

实际评测方: 未披露

28 条结果记录 · 14 个报告系统名称

协议与比较依据 (0)

原始来源图表与材料

阅读原始协议 ↗

任务选择偏向安全关键场景，能力诱导影响外推；没有从图形估读数值。

参考文献

数值结果由所引研究的作者报告。

[1] Introducing LinuxArena. 2026-04-20 ; Article image 1; label Claude Opus 4.6; Main task performance; figure reports n=400 each; task count versus repeated runs not separately disclosed

搜索 NUWA Index