风险评测 · 评测基准

TheAgentCompany: Benchmarking LLM Agents on Consequential Real World Tasks

NUWA 研究解读 · 独立复核待完成

首次发表: 2024-12-18来源核验: 2026-10-25

原始来源 ↗引用本记录 ↓自主性 →

NUWA Research Note

研究问题研究设计与假设来源发现 NUWA 解读局限与相反证据研究与决策意义机构与角色原始资源

模型辅助整理 · 选读原始全文或官方文章中的相关章节；尚未完成逐章节审计。

研究速读

NUWA 解读：检查点进度分与完整完成工作是不同结果。

研究问题

智能体能否在模拟软件公司完成多样数字工作？

研究设计与假设

封闭环境含内部网站、文件、工具及同事；检查点给部分分，全完成另有大额奖励。

来源发现

仅完成全部检查点时加50%分（§4.1）。

人类验证可行性，但未收集代表性表现基线（附录J）。

NUWA 解读

NUWA 解读：检查点进度分与完整完成工作是不同结果。

局限与相反证据

模拟同事和网站限制职场真实性，可行性检查不能确立人机生产率比较。

研究与决策意义

模型建议：并列完整完成率与部分分，不作无依据劳动替代估计。

精确来源位置

TheAgentCompany · AbstractSelected original resource https://arxiv.org/html/2412.14161; sha256:b5a66c55f2181c8ab279c5bd6ceb0f92badc66ae8378c0dc12dcedee6204b876; archived source capture; exact capture time not independently established
TheAgentCompany · §4.1 Evaluation MetricsSelected original resource https://arxiv.org/html/2412.14161; sha256:b5a66c55f2181c8ab279c5bd6ceb0f92badc66ae8378c0dc12dcedee6204b876; archived source capture; exact capture time not independently established
TheAgentCompany · Appendix J LimitationSelected original resource https://arxiv.org/html/2412.14161; sha256:b5a66c55f2181c8ab279c5bd6ceb0f92badc66ae8378c0dc12dcedee6204b876; archived source capture; exact capture time not independently established

来源核查、数据提取、编辑批准与实验复现分别记录。方法说明 →

机构与角色

原文未注明机构

评测协议

TheAgentCompany →

引用与复用

引用研究发现时请引用原始出版物；引用 NUWA 的整理与解释时，单独引用本站记录及对应快照。

BibTeX ↓RIS ↓记录与来源元数据 · JSON ↓阅读覆盖 · JSON 提交更正

原始出版物 · BibTeX

@misc{theagentcompany,
  title = {TheAgentCompany: Benchmarking LLM Agents on Consequential Real World Tasks},
  url = {https://arxiv.org/abs/2412.14161},
  year = {2024},
  date = {2024-12-18},
  version = {2026-10-25 source capture},
  note = {2026-10-25 source capture}
}

NUWA 记录 · BibTeX

@misc{theagentcompany-nuwa,
  title = {TheAgentCompany: Benchmarking LLM Agents on Consequential Real World Tasks — NUWA research record},
  url = {https://whitzard.tech/nuwa/whitzard-index/work/theagentcompany/},
  version = {2026-10-29.1},
  organization = {NUWA Frontier AI Safety Lab},
  howpublished = {Retained note edition: https://whitzard.tech/nuwa/whitzard-index/data/record-editions/2026-10-29.1--theagentcompany.json},
  note = {NUWA research note. Source-reading scope and independent review status are stated on the record. Snapshot 2026-10-29.1. Retained note edition: https://whitzard.tech/nuwa/whitzard-index/data/record-editions/2026-10-29.1--theagentcompany.json.}
}

证据快照 2026-10-29.1 · 索引更新 · RSS

参考文献

[1] TheAgentCompany. 2024-12-18 ; Abstract; §4.1 Evaluation Metrics; Appendix J Limitation