评测档案
TheAgentCompany
智能体如何在模拟公司中完成实际工作任务?
任务与测量
Benchmark 协议档案
- 任务/对象
- 给定任务配置中的模型或智能体。
- 测量目标
- 结合浏览、编程、文件操作和与模拟同事的交互。
- 解释边界
- 任务成功与评测边界行为属于不同结果;环境故障不是普通任务失败。
结合浏览、编程、文件操作和与模拟同事的交互。
测量档案 · NUWA 解读
档案区分来源方法阅读与既有目录信息;已经公开不代表完成独立证据复核或双语编辑复核。
- 测量构念
- 智能体能否在模拟软件公司完成多样数字工作?
- 任务与样本
- 封闭环境含内部网站、文件、工具及同事;检查点给部分分,全完成另有大额奖励。
- 判分与失效情形
- 检查点部分分,全完成才额外计50%。
- 系统条件
- 封闭模拟公司,验证可行但无代表性人类表现基线。
- 统计含义
- 来源报告的结果表述;这不等同于已确定运行次数、分母或估计方法: 仅完成全部检查点时加50%分(§4.1)。
- 效度与解释
- 模拟同事和网站限制职场真实性,可行性检查不能确立人机生产率比较。
- 适用研究问题
- 模型建议:并列完整完成率与部分分,不作无依据劳动替代估计。
- TheAgentCompany · AbstractSelected original resource https://arxiv.org/html/2412.14161; sha256:b5a66c55f2181c8ab279c5bd6ceb0f92badc66ae8378c0dc12dcedee6204b876; archived source capture; exact capture time not independently established
- TheAgentCompany · §4.1 Evaluation MetricsSelected original resource https://arxiv.org/html/2412.14161; sha256:b5a66c55f2181c8ab279c5bd6ceb0f92badc66ae8378c0dc12dcedee6204b876; archived source capture; exact capture time not independently established
- TheAgentCompany · Appendix J LimitationSelected original resource https://arxiv.org/html/2412.14161; sha256:b5a66c55f2181c8ab279c5bd6ceb0f92badc66ae8378c0dc12dcedee6204b876; archived source capture; exact capture time not independently established
原始来源图表与材料
已收录协议范围,精确数值提取及适用原图仍待核查。
相关研究问题
自主性 / 持续自主任务 →
该协议明确测量该问题或其使能子能力,结论保留给定条件。
参考文献
- [1] TheAgentCompany. 2024-12-18