Anthropic Fable 5.2 在基准测试中完成41%的自由职业任务

Anthropic宣布，其Fable 5.2模型完成了真实自由职业任务基准测试中41.3%的项目。这项由Scale Labs开展的测试，评估AI能否完成整项工作并交付专业水准的成果，而不只是做好单个任务。相比之下，一年前表现最好的系统Manus完成率仅为2.5%。这意味着Fable 5.2完成的项目数是早期领先者的16倍以上。 这项基准测试涵盖了从358名经过核实的Upwork自由职业者那里抽取的240个项目，项目总价值约为$144,000，平均每个项目价值$632.60，约需29小时人工完成。任务涉及视频剪辑、CAD设计、游戏开发和数据分析等。AI智能体在虚拟工作空间中作业，可使用Blender、GIMP和Audacity等专业工具，以及用于生成图像、音频和视频的专用AI工具。 Scale Labs报告称，Fable 5.2在音频和音乐编辑、建筑与室内设计以及3D模型制作方面进步最大。它还完成了早期智能体无法胜任的耗时更长、复杂度更高的项目。它成功完成的任务中，近50项此前没有任何参测AI完成过。 排名第二和第三的模型分别是Anthropic的Opus 5.5，完成率为21.25%；以及OpenAI的GPT‑6 Astra，完成率为20.83%。Google的Gemini Argon 4以17.08%的完成率位列第五。GPT‑5.2和Gemini 3 Pro等较早的模型，完成率则不到3%。 人工专家会在相应软件中打开每份AI成果，与自由职业者的作品进行对照，逐一审核。试图借助另一款AI自动完成审核的做法并未奏效，因为审核者很难发现细微的技术缺陷。

这一进展为何重要

对于聘用自由职业者的企业来说，测试结果表明，Fable 5.2这类AI智能体或许很快就能承担相当一部分常规设计和媒体项目，从而有望降低成本、缩短交付时间。不过，测试也显示，这类智能体在工业产品设计和动画方面仍有短板；审核者还指出，AI成果可能不完整或存在技术缺陷。在这些问题得到解决之前，仍有必要由人工监督。