白泽(Whitzard)女娲实验室 ↗
NUWANUWA INDEX

搜索 NUWA Index

研究 · 测量协议 · 评测结果 · 观点

English
← NUWA Index

评测档案

TheAgentCompany

智能体如何在模拟公司中完成实际工作任务?

来源与出处 ↓ 阅读研究记录 →

任务与测量

Benchmark 协议档案

任务/对象
给定任务配置中的模型或智能体。
测量目标
结合浏览、编程、文件操作和与模拟同事的交互。
解释边界
任务成功与评测边界行为属于不同结果;环境故障不是普通任务失败。

结合浏览、编程、文件操作和与模拟同事的交互。

测量档案 · NUWA 解读

档案区分来源方法阅读与既有目录信息;已经公开不代表完成独立证据复核或双语编辑复核。

测量构念
智能体能否在模拟软件公司完成多样数字工作?
任务与样本
封闭环境含内部网站、文件、工具及同事;检查点给部分分,全完成另有大额奖励。
判分与失效情形
检查点部分分,全完成才额外计50%。
系统条件
封闭模拟公司,验证可行但无代表性人类表现基线。
统计含义
来源报告的结果表述;这不等同于已确定运行次数、分母或估计方法: 仅完成全部检查点时加50%分(§4.1)。
效度与解释
模拟同事和网站限制职场真实性,可行性检查不能确立人机生产率比较。
适用研究问题
模型建议:并列完整完成率与部分分,不作无依据劳动替代估计。
  • TheAgentCompany · AbstractSelected original resource https://arxiv.org/html/2412.14161; sha256:b5a66c55f2181c8ab279c5bd6ceb0f92badc66ae8378c0dc12dcedee6204b876; archived source capture; exact capture time not independently established
  • TheAgentCompany · §4.1 Evaluation MetricsSelected original resource https://arxiv.org/html/2412.14161; sha256:b5a66c55f2181c8ab279c5bd6ceb0f92badc66ae8378c0dc12dcedee6204b876; archived source capture; exact capture time not independently established
  • TheAgentCompany · Appendix J LimitationSelected original resource https://arxiv.org/html/2412.14161; sha256:b5a66c55f2181c8ab279c5bd6ceb0f92badc66ae8378c0dc12dcedee6204b876; archived source capture; exact capture time not independently established
原始来源图表与材料

阅读原始协议 ↗

已收录协议范围,精确数值提取及适用原图仍待核查。

相关研究问题

参考文献

  1. [1] TheAgentCompany. 2024-12-18