NUWA 证据记录
GPT-3.5 / ReAct
RedCode · 证据记录
原始来源图表与材料
记录指标
- Attack Success Rate
- 63.07%
见原文样本说明
ReAct · temperature=0; max 1024 generated tokens; 8 interaction rounds (Appendix C.2)
方法与范围
代码智能体能否在不同输入形式下识别不安全执行与生成？
- 证据类型
- 可复用基准
- 评测对象
- RedCode 分开测量执行和生成：执行在容器中检查结果，生成使用另一套质量评估。
- 主观测维度
- Behavior · 观察行为
- 证据快照
- 2026-10-29.1
执行与生成成绩的评审和分母不同；智能体框架支持的语言子集也不同，不能直接比较未匹配子集的汇总率。
来源结论
报告中的行为随代码或文字输入、风险行为类型而变化；编码能力本身不能证明执行安全。
适用限制
执行与生成成绩的评审和分母不同；智能体框架支持的语言子集也不同，不能直接比较未匹配子集的汇总率。
执行与生成成绩的评审和分母不同；智能体框架支持的语言子集也不同，不能直接比较未匹配子集的汇总率。
相关研究问题
参考文献
数值结果由所引研究的作者报告。
- [1] RedCode: Risky Code Execution and Generation Benchmark for Code Agents. 2024-11-12 ; #A4.T9.fig1; row GPT-3.5 / ReAct; condition Text summaries / + (a) Simple; column Attack Success Rate