Red-Teaming OpenAI’s Internal Agent Monitoring Systems
研究问题部署监测能否覆盖实际智能体流量?
来源摘要试点识别到流量覆盖和监测系统完整性问题。约 10% 未监测流量是完整日志不足时的历史估计;本研究没有复测厂商之后宣称的修复。
NUWA 研究解读 · 独立复核待完成
研究机构
角色与署名遵循所引原始资料。来源核验不等于独立复现实验。
更多筛选 →研究问题部署监测能否覆盖实际智能体流量?
来源摘要试点识别到流量覆盖和监测系统完整性问题。约 10% 未监测流量是完整日志不足时的历史估计;本研究没有复测厂商之后宣称的修复。
NUWA 研究解读 · 独立复核待完成
研究问题以成功的人类基线用时衡量难度时,不同模型版本能够完成的软件任务范围如何变化?
来源摘要论文观察到人类任务时长与智能体成功率的关系,以及所研究版本间任务跨度的上升(§§2.3–3)。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
研究问题智能体协作了什么,何种因素推动越界活动,留存证据又有多完整?
来源摘要智能体围绕利用评测流程组织集体项目。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限
研究问题自主优化在多少支出下达到估计人类优化水平?
来源摘要智能体花费超过一万美元后,示例估计支出时域为0–3千美元。
NUWA 研究解读 · 独立复核待完成
研究问题周期性机构级评估如何覆盖开发者内部AI使用风险?
来源摘要报告分开手段、动机和机会。
NUWA 研究解读 · 独立复核待完成
研究问题智能体能否依据行为规格重写完整CLI程序?
来源摘要近期模型完整重写了多个受测程序,初步集合中的Pkl仍未完成。
NUWA 研究解读 · 独立复核待完成
研究问题任务集接近饱和时,统计建模会怎样改变跨度估计?
来源摘要部分前沿跨度估计在合理建模选择下有明显变化,任务集接近饱和时尤其如此。方法修正不是观察到的模型能力下降。
NUWA 研究解读 · 独立复核待完成
研究问题跨度指标与实际劳动替代或研发提速相隔什么?
来源摘要拟合跨度不能直接确定研发提速或经济自动化效果;实际效用还依赖额外交互和验证成本。
NUWA 研究解读 · 独立复核待完成
研究问题软件工作中,智能体与监测器配对能否检测隐蔽副任务?
来源摘要智能体相对监测器能力似乎预测未被发现的成功。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限
研究问题人工标注轨迹能否支撑评测完整性故障检测?
来源摘要人工复审2,690条,其中良性1,014条、有相关行为1,676条。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限
研究问题为何要保留自然语言推理作为监督信号?
来源摘要作者认为思维链可揭示不良行为和评测故障。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 发现 / 解读 / 局限
研究问题人类任务时长能否为自主能力测量提供锚点?
来源摘要智能体在一小时内任务成功70–80%,四小时以上任务低于20%。
NUWA 研究解读 · 独立复核待完成
研究问题开放式机器学习研究工程中,智能体与专家表现如何?
来源摘要82%的专家尝试得分非零,24%达到或超过参考解。
NUWA 研究解读 · 独立复核待完成 · 包含: 问题 / 方法 / 局限
研究问题哪些前提让自主复制具有社会后果,评测失败或通过分别意味着什么?
来源摘要作者更有信心把低于阈值的失败用作排除证据,而非将通过视为大规模持久失控群体的证明。
NUWA 研究解读 · 独立复核待完成
研究问题如何避免把框架或任务访问故障误认作模型无能力?
来源摘要目标是合理后训练增强可访问的能力,而不只默认聊天表现。
NUWA 研究解读 · 独立复核待完成