Oossa

METR将开放式任务纳入AI进展图表

这家非营利机构更新后的图表显示,AI在简单任务上的能力仍每四个月翻一番,但在研究设计等需要判断力的工作上仍落后。

作者: Oossa 发布日期: 2 分钟阅读

铮 夏 · Unsplash

据《麻省理工科技评论》报道,AI评测非营利机构METR发布了新版“时间跨度”图表。新图表加入了耗时更长、对判断力要求更高的任务,例如设计AI评测或评判哲学论证。广为流传的旧版图表以人类完成任务所需的时间衡量进展,显示前沿模型能够处理的任务时长每四个月翻一番。新版图表显示,在编程和数学等容易验证的任务上,这一趋势仍在延续;但在开放式任务上,差距正在扩大。 新增任务旨在考察那些对自动化研发至关重要的能力。在设计评测的任务中,即使是最先进的模型,表现也只是“勉强高于门槛”,还达不到对METR工作人员有用的程度。在评判哲学论证的任务中,模型得分同样低于人类专家。文章援引的研究人员表示,这些结果并不意外;早期研究发现,AI仍无法独立复现人类的计算机科学研究。 METR工作人员也指出,衡量模型在这些任务上的表现并不容易。由于聘人完成数百小时的工作成本高昂,许多新增任务改用人类完成所需时间的估算值,取代实际测试。因此,报告纳入的高判断力任务较少,并承认相关数据不如原有任务集可靠。加州大学伯克利分校的Sayash Kapoor和波士顿大学的Najoung Kim等专家认为,纳入这些任务是积极的一步,但也提醒,难以衡量的能力所呈现的趋势仍会有较大波动。 总体而言,更新后的图表证实,AI在成功与否容易验证的任务上进步迅速,而在依赖判断力的工作上,进展仍不明朗。这张图表可能会影响业界对AI实现研发自动化所需时间的判断。

新增任务为何重要

如果AI要协助设计新实验或撰写研究计划,就必须能够处理无法用简单的通过或失败来检验的任务。METR更新后的图表显示,目前的模型在这些方面仍落后于人类,这意味着全面自动化的AI研究尚未近在眼前。 对于押注AI能加快产品开发的公司来说,这种差距意味着,不应期待AI能立即在高层战略决策方面带来收益。目前,这项技术在代码生成或数据分析等具体、可验证的工作上仍最为可靠。

为什么重要

对普通用户而言,这次更新意味着AI工具在编程等结果明确的工作上会继续进步,但目前还无法取代人类在研究规划或哲学推理中的判断。企业应继续利用AI自动处理常规任务,同时让人类参与战略决策。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。