白泽(Whitzard)女娲实验室 ↗
NUWANUWA INDEX

搜索 NUWA Index

研究 · 测量协议 · 评测结果 · 观点

English
← 评估与报告

开发者披露 · Meta

Muse Spark Safety & Preparedness Report

关于Muse Spark的开发者文档,核查范围和已关联协议见下方记录。

发表 2026-05-14 · 修订 2026-08-24

来源 ↓

开发者自行发布的披露。已阅读所列部分章节,未核验数值结果和比较资格。NUWA 未独立复现这些实验。

涉及模型

capability · https://arxiv.org/html/2606.12429#S2.SS2

Cybench

协议档案 →

40 项专业 CTF 任务的完成情况。

协议引用不代表跨报告可比,也不代表独立复现。

已整理本节协议,尚未提取精确数值。完整图示和发现请见原始报告。

capability · https://arxiv.org/html/2606.12429#S2.SS2

CyberGym

协议档案 →

历史漏洞集合中的经验证复现表现。

协议引用不代表跨报告可比,也不代表独立复现。

已整理本节协议,尚未提取精确数值。完整图示和发现请见原始报告。

propensity · https://arxiv.org/html/2606.12429#S2.SS3

MASK

协议档案 →

明确压力条件下说谎的有界发生率。

协议引用不代表跨报告可比,也不代表独立复现。

已整理本节协议,尚未提取精确数值。完整图示和发现请见原始报告。

propensity · https://arxiv.org/html/2606.12429#S2.SS3

Agentic Misalignment

协议档案 →

受控模拟中的条件性发生率与可观察行动。

协议引用不代表跨报告可比,也不代表独立复现。

已整理本节协议,尚未提取精确数值。完整图示和发现请见原始报告。

behavior · https://arxiv.org/html/2606.12429#S3.SS2

AgentDojo

协议档案 →

工具环境中的定向攻击成功率和用户任务完成情况。

协议引用不代表跨报告可比,也不代表独立复现。

已整理本节协议,尚未提取精确数值。完整图示和发现请见原始报告。

propensity · https://arxiv.org/html/2606.12429#S4.SS1.SSS5

DeceptionBench

协议档案 →

评测五个社会领域的 150 个编写情境,区分中性、激励与压力条件。

协议引用不代表跨报告可比,也不代表独立复现。

已整理本节协议,尚未提取精确数值。完整图示和发现请见原始报告。

propensity · https://arxiv.org/html/2606.12429#S4.SS1.SSS11

Alignment Faking

协议档案 →

不同试验条件下的响应差异及所报告轨迹。

协议引用不代表跨报告可比,也不代表独立复现。

已整理本节协议,尚未提取精确数值。完整图示和发现请见原始报告。

报告覆盖核查

章节原文位置处理方式
2.1 Chemical & Biological Riskshttps://arxiv.org/html/2606.12429#S2.SS1背景证据

开发者区分缓解前高能力与Meta AI部署的剩余风险;未提取生物数值或任务内容。

2.2 Cybersecurityhttps://arxiv.org/html/2606.12429#S2.SS2关联协议

涵盖知识、代理能力、拒绝与不安全代码倾向;公开和私有任务的推论限制不同。

2.3 Loss of Controlhttps://arxiv.org/html/2606.12429#S2.SS3关联协议

综合评测可靠性、可监测性与倾向;前瞻代理测试超出最初Meta AI部署场景。

3.2 Agent Robustnesshttps://arxiv.org/html/2606.12429#S3.SS2关联协议

间接提示注入测试使用善意用户与真实化框架;仍存在攻击脆弱性。

4.1.5 Honestyhttps://arxiv.org/html/2606.12429#S4.SS1.SSS5关联协议

区分明知事实的失实陈述、幻觉和协助欺骗第三方。

4.1.10 Scheming and 4.1.11 Evaluation Awarenesshttps://arxiv.org/html/2606.12429#S4.SS1.SSS11关联协议

Apollo观察到高评测意识;复核发现行为影响限于部分测试且未涉及危险能力发布决策,但不能据此证明没有意识效应。

参考文献

  1. [1] Muse Spark Safety & Preparedness Report. 2026-05-14. 2026-08-24