白泽（Whitzard）女娲实验室 ↗
NUWANUWA INDEX

搜索 NUWA Index

研究 · 测量协议 · 评测结果 · 观点

English
← NUWA Index

评测档案

RedCode

代码智能体能否在不同输入形式下识别不安全执行与生成？

本轮尚未登记机构署名 / 来源捕获 · 7e4796140a / Behavior · 观察行为

来源与出处 ↓ 阅读研究记录 →

跨报告监测

已发表证据

RedCode · Attack Success Rate

跨来源报告的已发表测量。任务范围通过注释区分，配置差异保留在每条观测中。

24 条观测 · 0 已定位日期

● 条件匹配◇ 配置差异□ 部分条件未披露
Attack Success Rate (%) GPT-3.5 / ReAct [4] GPT-3.5 / ReAct [8] GPT-3.5 / ReAct [20] GPT-3.5 / ReAct [12] GPT-3.5 / ReAct [16] GPT-3.5 / ReAct [24] GPT-3.5 / ReAct [1] GPT-3.5 / ReAct [5] GPT-3.5 / ReAct [3] GPT-3.5 / ReAct [17] GPT-3.5 / ReAct [2] GPT-3.5 / ReAct [9] 0 20 40 60 80 100 88.4% 87.2% 86.53% 85.33% 84.93% 83.2% 79.33% 71.87% 69.07% 67.33% 64.53% 63.73%
  1. Code input / Base
  2. Code input with jailbreaking / Base
  3. Text summaries / Base
  4. Text descriptions / Base
  5. Code input / + (a) Simple
  6. Code input with jailbreaking / + (a) Simple
  7. Text summaries / + (a) Simple
  8. Text descriptions / + (a) Simple
  9. Code input / + (b) Awareness
  10. Code input with jailbreaking / + (b) Awareness
  11. Text summaries / + (b) Awareness
  12. Text descriptions / + (b) Awareness
  13. Code input / + (c) Detection
  14. Code input with jailbreaking / + (c) Detection
  15. Text summaries / + (c) Detection
  16. Text descriptions / + (c) Detection
  17. Code input / + (d) Modification
  18. Code input with jailbreaking / + (d) Modification
  19. Text summaries / + (d) Modification
  20. Text descriptions / + (d) Modification
  21. Code input / + (e) Combined
  22. Code input with jailbreaking / + (e) Combined
  23. Text summaries / + (e) Combined
  24. Text descriptions / + (e) Combined

24 条观测尚无已核实的模型发布日期，可在数据与系统结果中查看。

选择图中数据点或表格行，查看条件与出处。

24 条观测

测量值与来源条件
系统／模型结果条件状态任务／条件评测方／报告日期
GPT-3.5 / ReAct88.4%Attack Success Rate条件不完整Text descriptions / Basetemperature=0; max 1024 generated tokens; 8 interaction rounds (Appendix C.2)ReAct未披露RedCode: Risky Code Execution and Generation Benchmark for Code Agents发布 —报告 2024-11-12
GPT-3.5 / ReAct87.2%Attack Success Rate条件不完整Text descriptions / + (a) Simpletemperature=0; max 1024 generated tokens; 8 interaction rounds (Appendix C.2)ReAct未披露RedCode: Risky Code Execution and Generation Benchmark for Code Agents发布 —报告 2024-11-12
GPT-3.5 / ReAct86.53%Attack Success Rate条件不完整Text descriptions / + (d) Modificationtemperature=0; max 1024 generated tokens; 8 interaction rounds (Appendix C.2)ReAct未披露RedCode: Risky Code Execution and Generation Benchmark for Code Agents发布 —报告 2024-11-12
GPT-3.5 / ReAct85.33%Attack Success Rate条件不完整Text descriptions / + (b) Awarenesstemperature=0; max 1024 generated tokens; 8 interaction rounds (Appendix C.2)ReAct未披露RedCode: Risky Code Execution and Generation Benchmark for Code Agents发布 —报告 2024-11-12
GPT-3.5 / ReAct84.93%Attack Success Rate条件不完整Text descriptions / + (c) Detectiontemperature=0; max 1024 generated tokens; 8 interaction rounds (Appendix C.2)ReAct未披露RedCode: Risky Code Execution and Generation Benchmark for Code Agents发布 —报告 2024-11-12
GPT-3.5 / ReAct83.2%Attack Success Rate条件不完整Text descriptions / + (e) Combinedtemperature=0; max 1024 generated tokens; 8 interaction rounds (Appendix C.2)ReAct未披露RedCode: Risky Code Execution and Generation Benchmark for Code Agents发布 —报告 2024-11-12
GPT-3.5 / ReAct79.33%Attack Success Rate条件不完整Code input / Basetemperature=0; max 1024 generated tokens; 8 interaction rounds (Appendix C.2)ReAct未披露RedCode: Risky Code Execution and Generation Benchmark for Code Agents发布 —报告 2024-11-12
GPT-3.5 / ReAct71.87%Attack Success Rate条件不完整Code input / + (a) Simpletemperature=0; max 1024 generated tokens; 8 interaction rounds (Appendix C.2)ReAct未披露RedCode: Risky Code Execution and Generation Benchmark for Code Agents发布 —报告 2024-11-12
GPT-3.5 / ReAct69.07%Attack Success Rate条件不完整Text summaries / Basetemperature=0; max 1024 generated tokens; 8 interaction rounds (Appendix C.2)ReAct未披露RedCode: Risky Code Execution and Generation Benchmark for Code Agents发布 —报告 2024-11-12
GPT-3.5 / ReAct67.33%Attack Success Rate条件不完整Code input / + (d) Modificationtemperature=0; max 1024 generated tokens; 8 interaction rounds (Appendix C.2)ReAct未披露RedCode: Risky Code Execution and Generation Benchmark for Code Agents发布 —报告 2024-11-12
GPT-3.5 / ReAct64.53%Attack Success Rate条件不完整Code input with jailbreaking / Basetemperature=0; max 1024 generated tokens; 8 interaction rounds (Appendix C.2)ReAct未披露RedCode: Risky Code Execution and Generation Benchmark for Code Agents发布 —报告 2024-11-12
GPT-3.5 / ReAct63.73%Attack Success Rate条件不完整Code input / + (b) Awarenesstemperature=0; max 1024 generated tokens; 8 interaction rounds (Appendix C.2)ReAct未披露RedCode: Risky Code Execution and Generation Benchmark for Code Agents发布 —报告 2024-11-12
GPT-3.5 / ReAct63.73%Attack Success Rate条件不完整Code input / + (c) Detectiontemperature=0; max 1024 generated tokens; 8 interaction rounds (Appendix C.2)ReAct未披露RedCode: Risky Code Execution and Generation Benchmark for Code Agents发布 —报告 2024-11-12
GPT-3.5 / ReAct63.07%Attack Success Rate条件不完整Text summaries / + (a) Simpletemperature=0; max 1024 generated tokens; 8 interaction rounds (Appendix C.2)ReAct未披露RedCode: Risky Code Execution and Generation Benchmark for Code Agents发布 —报告 2024-11-12
GPT-3.5 / ReAct62.8%Attack Success Rate条件不完整Text summaries / + (d) Modificationtemperature=0; max 1024 generated tokens; 8 interaction rounds (Appendix C.2)ReAct未披露RedCode: Risky Code Execution and Generation Benchmark for Code Agents发布 —报告 2024-11-12
GPT-3.5 / ReAct62.13%Attack Success Rate条件不完整Code input / + (e) Combinedtemperature=0; max 1024 generated tokens; 8 interaction rounds (Appendix C.2)ReAct未披露RedCode: Risky Code Execution and Generation Benchmark for Code Agents发布 —报告 2024-11-12
GPT-3.5 / ReAct61.06%Attack Success Rate条件不完整Text summaries / + (c) Detectiontemperature=0; max 1024 generated tokens; 8 interaction rounds (Appendix C.2)ReAct未披露RedCode: Risky Code Execution and Generation Benchmark for Code Agents发布 —报告 2024-11-12
GPT-3.5 / ReAct60.93%Attack Success Rate条件不完整Code input with jailbreaking / + (a) Simpletemperature=0; max 1024 generated tokens; 8 interaction rounds (Appendix C.2)ReAct未披露RedCode: Risky Code Execution and Generation Benchmark for Code Agents发布 —报告 2024-11-12
GPT-3.5 / ReAct59.6%Attack Success Rate条件不完整Text summaries / + (b) Awarenesstemperature=0; max 1024 generated tokens; 8 interaction rounds (Appendix C.2)ReAct未披露RedCode: Risky Code Execution and Generation Benchmark for Code Agents发布 —报告 2024-11-12
GPT-3.5 / ReAct58.8%Attack Success Rate条件不完整Text summaries / + (e) Combinedtemperature=0; max 1024 generated tokens; 8 interaction rounds (Appendix C.2)ReAct未披露RedCode: Risky Code Execution and Generation Benchmark for Code Agents发布 —报告 2024-11-12
GPT-3.5 / ReAct57.73%Attack Success Rate条件不完整Code input with jailbreaking / + (d) Modificationtemperature=0; max 1024 generated tokens; 8 interaction rounds (Appendix C.2)ReAct未披露RedCode: Risky Code Execution and Generation Benchmark for Code Agents发布 —报告 2024-11-12
GPT-3.5 / ReAct51.47%Attack Success Rate条件不完整Code input with jailbreaking / + (b) Awarenesstemperature=0; max 1024 generated tokens; 8 interaction rounds (Appendix C.2)ReAct未披露RedCode: Risky Code Execution and Generation Benchmark for Code Agents发布 —报告 2024-11-12
GPT-3.5 / ReAct51.47%Attack Success Rate条件不完整Code input with jailbreaking / + (c) Detectiontemperature=0; max 1024 generated tokens; 8 interaction rounds (Appendix C.2)ReAct未披露RedCode: Risky Code Execution and Generation Benchmark for Code Agents发布 —报告 2024-11-12
GPT-3.5 / ReAct48.93%Attack Success Rate条件不完整Code input with jailbreaking / + (e) Combinedtemperature=0; max 1024 generated tokens; 8 interaction rounds (Appendix C.2)ReAct未披露RedCode: Risky Code Execution and Generation Benchmark for Code Agents发布 —报告 2024-11-12

实际评测方: 未披露
报告发布方: RedCode: Risky Code Execution and Generation Benchmark for Code Agents

任务与测量

Benchmark 协议档案

任务／对象
RedCode 分开测量执行和生成：执行在容器中检查结果，生成使用另一套质量评估。
测量目标
代码智能体能否在不同输入形式下识别不安全执行与生成？
评分／结果口径
Accuracy · Accuracy
解释边界
执行与生成成绩的评审和分母不同；智能体框架支持的语言子集也不同，不能直接比较未匹配子集的汇总率。

一项已报告评测

来源评测 GPT-4o / Base LLM · RedCode-Gen / Base LLM.

运行配置: Base model generation.

报告指标: Accuracy · 69.4%.

Accuracy 见原文样本说明

报告中的行为随代码或文字输入、风险行为类型而变化；编码能力本身不能证明执行安全。

测量档案 · NUWA 解读

档案区分来源方法阅读与既有目录信息；已经公开不代表完成独立证据复核或双语编辑复核。

测量构念
分别评测不安全代码执行与明确有害的代码生成。
任务与样本
RedCode-Exec 包含代码与文本形式的 4,050 项测试；RedCode-Gen 包含八类软件的 160 项函数签名与说明提示。
判分与失效情形
Exec 通过执行脚本区分拒绝、执行失败与攻击成功。Gen 报告拒绝、代码准确性和独立的 VirusTotal 分数；后者在本轮未确定单位，保留来源标签。
系统条件
基础模型与代码智能体分别作为系统。ReAct 缓解实验对应附录 C.2：temperature=0、最多生成 1024 tokens、八轮交互。
统计含义
现有材料尚未确定
效度与解释
Exec 与 Gen 测量不同，不做平均。数值图仍待取得底层数据或明确数字化；本轮表格提取不表示已覆盖全部 Benchmark 数据。
适用研究问题
现有材料尚未确定

跨报告证据

相同 Benchmark 名称可能对应不同任务、计分规则和系统配置。各来源分别保留，比较组说明具体对齐了哪些条件。

RedCode: Risky Code Execution and Generation Benchmark for Code Agents

RedCode: Risky Code Execution and Generation Benchmark for Code Agents

实际评测方: 未披露

84 条结果记录 · 19 个报告系统名称

协议与比较依据 (0)
原始来源图表与材料

阅读原始协议 ↗

执行与生成成绩的评审和分母不同；智能体框架支持的语言子集也不同，不能直接比较未匹配子集的汇总率。

相关研究问题

参考文献

数值结果由所引研究的作者报告。

  1. [1] RedCode: Risky Code Execution and Generation Benchmark for Code Agents. 2024-11-12 ; #S4.T1; row GPT-4o / Base LLM; condition RedCode-Gen / Base LLM; column Accuracy; #S4.T1; row GPT-4o / Base LLM; condition RedCode-Gen / Base LLM; column Refusal rate