OpenAI表示,研究人员越来越频繁地使用编程智能体,但这些系统在复杂工程任务上仍力有不逮,生成的代码也需要仔细审核。10月,研究人员使用Codex、Dots等内部工具的日均用量中位数,按常规API标价折算为价值$2,400的tokens,较9月增长62 percent。使用最活跃的10 percent用户,日均折算用量达到$23,000。
这些数字估算的是按公开标价计算的使用成本,并非现金支出,也不是研究人员的实际薪酬。OpenAI称,智能体的运行时长相当于每位研究人员每个日历日工作5.7个8小时工作日;在预训练和后训练团队中,这一数字约为8天。使用高峰期,超过三分之二的受追踪研究人员同时运行至少4个智能体。公司将智能体成本与薪酬成本进行比较时采用的是9月数据,且未计入股权;OpenAI称,股权占员工总薪酬的70 to 80 percent。智能体使用量占公司整体研究计算资源使用量的2 percent。
智能体更擅长处理日常任务
OpenAI称,无需人工干预即可完成两至四小时任务的自主智能体比例,从3月的23 percent升至10月的46 percent。对于四至八小时的任务,报告中的成功率从13 percent升至35 percent。不过,智能体在不同任务上的表现差异很大:它们有79 percent的时间能完成训练运行监控,有72 percent的时间能回答技术问题;但构建评测或强化学习环境的成功率只有29 percent,编写推理和服务系统代码的成功率则为25 percent。
该公司还表示,员工对这些工具兴趣浓厚,但提醒称调查结果有限。在一项有101名员工参与、且不具代表性的内部调查中,受访者回答的中位数显示,相比连续三个月无法使用当前的编程智能体,他们宁愿团队人员减少40 percent,或团队计算资源减少30 percent。在另一项有28名员工参与的快速民调中,27人更愿意选择最新的内部模型,而非一名职业生涯中期的人类工程师。这些回答反映的是受访员工的热情,并不能普遍衡量智能体的表现。
人类判断仍不可或缺
对10名OpenAI研究人员的采访显示,智能体仍有一个明显短板:受访者认为,它们缺乏判断哪些研究思路有前景,以及什么代码或数据质量好的“品味”。它们可能作出错误假设、采取不必要的步骤,生成研究人员无法使用的代码修改或数据。研究人员表示,需要密切监督,以免浪费计算资源。负责后训练和安全的团队称,GPT-6 Astra和GPT-6.2 Astra的关键思路来自人类;一些预训练研究人员则表示,Codex帮助他们在研究GPT-6.2 Astra时获得了重要发现。
OpenAI将这些数据视为研究提速以及潜在递归式自我改进的迹象,也就是AI帮助构建后续AI系统。但该公司警告称,目前的结果未必能按直线趋势持续扩大。《The Decoder》还指出,METR在一项为期11周的研究中估算,AI的使用使Anthropic的开发速度接近翻倍;这是另一家机构的估算,并非与OpenAI的直接比较。OpenAI曾在9月初表示,已实现其打造自动化AI研究实习生的目标;与此同时,首席科学家Jakub Pachocki也警告称,控制和监督方面仍存在缺口。
为什么重要
对于关注AI研究方式的人来说,OpenAI的数据表明,编程智能体可以承担部分日常工作,研究人员也看重使用这些工具的机会。但复杂工程任务上的失败,以及研究人员所说的不可用输出,意味着这些数据并不能证明智能体能够取代研究判断,或在整个研究流程中独立工作。