白泽(Whitzard)女娲实验室 ↗
NUWANUWA INDEX

搜索 NUWA Index

研究 · 测量协议 · 评测结果 · 观点

English
← NUWA Index

证据记录

Gemini 3.1 Pro

LinuxArena · 证据记录

来源与出处 ↓ 阅读研究记录 →

原始来源图表与材料

记录指标

主任务成功率
60%

见原文样本说明

LinuxArena · 预算未注明

方法与范围

能否在更接近实际运行的软件环境中评测智能体防护?

证据类型
可复用基准
评测对象
把正常工程任务与有评分规则的旁支任务配对,使用运行中的软件系统。
主观测维度
Behavior · 观察行为
证据快照
2026-10-29.1

任务选择偏向安全关键场景,能力诱导影响外推;没有从图形估读数值。

来源结论

分别评价破坏能力、监测识别与控制协议实用性。 人工构造轨迹揭示了普通模型生成攻击未覆盖的薄弱点。 原图标签报告Opus4.6主任务成功率66%(n=400);在GPT-5 Nano监测、逐步误报率1%时,其未检出破坏率为25%,策略辅助提高到49%,人工LaStraj轨迹为94%。 同一监测器对Opus攻击、策略辅助攻击、LaStraj的安全性分别为75%、51%、5%。这些指标的定义和分母不同。

适用限制

任务选择偏向安全关键场景,能力诱导影响外推;没有从图形估读数值。

任务选择偏向安全关键场景,能力诱导影响外推;没有从图形估读数值。

相关研究问题

参考文献

数值结果由所引研究的作者报告。

  1. [1] Introducing LinuxArena. 2026-04-20 ; Article image 1; label Gemini 3.1 Pro; Main task performance; figure reports n=400 each; task count versus repeated runs not separately disclosed