NUWA 开发者披露 · Meta
Muse Spark 1.1 Evaluation Report
关于Muse Spark 1.1的开发者文档，核查范围和已关联协议见下方记录。
发表 2026-07-09
来源 ↓开发者自行发布的披露。已阅读所列部分章节，未核验数值结果和比较资格。NUWA 未独立复现这些实验。
涉及模型
Cybench
40 项专业 CTF 任务的完成情况。
协议引用不代表跨报告可比，也不代表独立复现。
已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。
CyberGym
历史漏洞集合中的经验证复现表现。
协议引用不代表跨报告可比，也不代表独立复现。
已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。
ExploitGym
在真实软件目标上评测利用构造，并核查成功是否依赖指定漏洞。
协议引用不代表跨报告可比，也不代表独立复现。
已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。
SHADE-Arena
在确定工具权限下测量隐蔽副任务完成及监测发现情况。
协议引用不代表跨报告可比，也不代表独立复现。
已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。
MASK
明确压力条件下说谎的有界发生率。
协议引用不代表跨报告可比，也不代表独立复现。
已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。
FORTRESS
在国家安全与公共安全任务上评测防护，区分高危请求与正常用途的有用性。
协议引用不代表跨报告可比，也不代表独立复现。
已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。
AgentDojo
工具环境中的定向攻击成功率和用户任务完成情况。
协议引用不代表跨报告可比，也不代表独立复现。
已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。
DeceptionBench
评测五个社会领域的 150 个编写情境，区分中性、激励与压力条件。
协议引用不代表跨报告可比，也不代表独立复现。
已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。
Agentic Misalignment
受控模拟中的条件性发生率与可观察行动。
协议引用不代表跨报告可比，也不代表独立复现。
已整理本节协议，尚未提取精确数值。完整图示和发现请见原始报告。
报告覆盖核查
| 章节 | 原文位置 | 处理方式 |
|---|---|---|
| 2 Preparedness Assessment | PDF §§2.1–2.3 | 关联协议 API代理能力扩大评估范围；开发者无法排除缓解前高网络与生化能力，剩余风险判断包含防护。 |
| 3 Adversarial Robustness | PDF §3 | 关联协议 分别评估直接滥用、提示注入与错误拒绝。 |
| 4 Model Behavior | PDF §4 | 关联协议 诚实性、风险升级、评测意识与自动对齐审计属于不同构念；模拟场景向部署泛化有限。 |
参考文献
- [1] Muse Spark 1.1 Evaluation Report. 2026-07-09