Meta
Muse Spark
关于能力、行为倾向及可观察行动的已发表证据。
- 首次公开可用日期
- 2026-04-08
- 参数规模
- 未披露
- 元数据更新
- 2026-10-27
证据概述
下方关联开发者文档,尚未为该具体模型提取结构化风险结果。
NUWA 整理和解读这些来源。实验归属于原始执行方,本页不宣称 NUWA 已独立复现。
模型监测
代表性 Benchmark 覆盖
按协议和配置呈现结果,缺口标明待收录或待关联的证据。
AgentCyberRange →
尚未关联该模型版本的合格测量。
Cybench →
尚未关联该模型版本的合格测量。
CyberGym →
1 项测量
- 43.5%Not disclosed · Meta Agent
METR Time Horizons →
尚未关联该模型版本的合格测量。
SEC-bench Pro →
尚未关联该模型版本的合格测量。
MASK →
尚未关联该模型版本的合格测量。
Attempt to Persuade Eval (APE) →
尚未关联该模型版本的合格测量。
DeceptionBench →
2 项测量
PersuSafety →
尚未关联该模型版本的合格测量。
全部已关联测量
各项结果保留原始协议与单位。
6 条观测
| 系统/模型 | 结果 | 条件状态 | 任务/条件 | 评测方/报告 | 日期 |
|---|---|---|---|---|---|
| 43.5%CyberGym · 成功率 | 条件不完整 | level1score_10Meta Agent | Not disclosedCyberGym official leaderboard and machine-data extraction | 发布 2026-04-08报告 — | |
| 47.7%Agentic misalignment · deliberate harmful action rate | 条件不完整 | Anthropic Agentic Misalignmentdeliberate harmful action rate— | MetaEvaluating DeepSeek v4 Pro for Frontier Risks | 发布 2026-04-08报告 2026-05-29 | |
| 1.6%DeceptionBench · deception score: single-turn | 条件不完整 | DeceptionBenchdeception score: single-turn— | MetaEvaluating DeepSeek v4 Pro for Frontier Risks | 发布 2026-04-08报告 2026-05-29 | |
| 1.9%DeceptionBench · deception score: multi-turn w pressure | 条件不完整 | DeceptionBenchdeception score: multi-turn w pressure— | MetaEvaluating DeepSeek v4 Pro for Frontier Risks | 发布 2026-04-08报告 2026-05-29 | |
| 1.8 percentage pointsAlignment faking · Compliance gap | 条件不完整 | Alignment FakingCompliance gap— | MetaEvaluating DeepSeek v4 Pro for Frontier Risks | 发布 2026-04-08报告 2026-05-29 | |
| 0%Alignment faking · Deceptive alignment rate | 条件不完整 | Alignment FakingDeceptive alignment rate— | MetaEvaluating DeepSeek v4 Pro for Frontier Risks | 发布 2026-04-08报告 2026-05-29 |
开发者披露
Muse Spark Safety & Preparedness Report (Meta-hosted May 26 revision) →
关于Muse Spark的开发者文档,核查范围和已关联协议见下方记录。
未核实发表日期 · 更新 2026-05-26Muse Spark Safety & Preparedness Report →
关于Muse Spark的开发者文档,核查范围和已关联协议见下方记录。
2026-05-14 · 更新 2026-08-24外部评估
按风险主题组织的证据
自主性 1 项协议结果
Agentic Misalignment →
引用结果 · 执行方 Meta · 原始执行方 Meta
- deliberate harmful action rate
- 47.7%
原文未披露本结果的样本量
欺骗 5 项协议结果
DeceptionBench →
引用结果 · 执行方 Meta · 原始执行方 Meta
- deception score: single-turn
- 1.6%
原文未披露本结果的样本量
DeceptionBench →
引用结果 · 执行方 Meta · 原始执行方 Meta
- deception score: multi-turn w pressure
- 1.9%
原文未披露本结果的样本量
Alignment faking →
引用结果 · 执行方 Meta · 原始执行方 Meta
- Compliance gap
- 1.8 percentage points
原文未披露本结果的样本量
Alignment faking →
引用结果 · 执行方 Meta · 原始执行方 Meta
- Deceptive alignment rate
- 0%
原文未披露本结果的样本量
Agentic Misalignment →
引用结果 · 执行方 Meta · 原始执行方 Meta
- deliberate harmful action rate
- 47.7%
原文未披露本结果的样本量
网络安全 1 项协议结果
CyberGym · level1 · score_10 →
外部评测 · 执行方
- 成功率
- 43.5%
原文未披露本结果的样本量
化生放核 1 项协议结果
WMDP →
引用结果 · 执行方 Meta · 原始执行方 Meta
- accuracy
- 89.8%
原文未披露本结果的样本量
虚假信息与影响 未关联结构化结果
目录缺口不代表低风险。尚未提取的发现及协议范围请见关联报告。
自主物理危害 未关联结构化结果
目录缺口不代表低风险。尚未提取的发现及协议范围请见关联报告。
来源核查与证据缺口
CyberGym →
整理 CyberGym 官网报告的评测结果,保留受测系统和运行配置。
官网收录不同配置下的系统提交。本结果的任务数、预算和执行日期未完整披露;未定义指标及身份待核实行已排除。JSON 原始比例按官网展示规则乘以 100 并保留一位小数,转换为百分比。
Evaluating DeepSeek v4 Pro for Frontier Risks →
对 Neo Research · DeepSeek V4 Pro 的逐来源提取与核查,发现和数值均保留原始归属。
来源转录不等于实验复现。未确定的日期、执行方及配置保留为未知;原文分组不作为经核验排名。
缺失分数可能来自尚未提取的章节、未披露配置、身份待核实或尚无实验。这些问题需要分别处理,均不代表零分。
解读与开放问题
报告差异可能来自任务选择、模型端点、提示、预算、判别器和发表时间。证据依据实际协议分组,不推断模型整体安全等级。
参考文献
- [1] Meta. Meta — muse-spark. 2026-04-08 ; Dated launch and explicit availability; Parameter counts not disclosed in reviewed developer source
- [2] Evaluating DeepSeek v4 Pro for Frontier Risks. 2026-05-29. v1.1 · 29 May 2026 ; PDF p. 9; WMDP-Cyber; accuracy; PDF p. 27; DeceptionBench; deception score: single-turn; PDF p. 27; DeceptionBench; deception score: multi-turn w pressure
- [3] Muse Spark Safety & Preparedness Report (Meta-hosted May 26 revision). 2026-05-26
- [4] Muse Spark Safety & Preparedness Report. 2026-05-14. 2026-08-24
- [5] CyberGym official leaderboard and machine-data extraction ; /level1/49/score_10