Oossa

搭配专家程序后,小型8B模型表现追平大模型

一种名为PLVR的新方法让80亿参数模型在电信工具调用任务中的准确率超过90%,缩小了与大得多的模型之间的差距。

作者: Oossa 发布日期: 1 分钟阅读

Pankaj Patel · Unsplash

研究人员推出了一种名为PLVR的技术,可将教师模型逐步解决问题的轨迹转化为可重复使用的程序。该程序与冻结的小型语言模型协同运行,甚至能搭配80亿参数的模型使用,并引导其采取行动。在电信测试集上,8B Granite-4.2模型搭配PLVR后,准确率从43%跃升至91.2%。

PLVR如何运作

首先,教师模型Kimi-K3在解决工具调用问题时记录推理轨迹。PLVR会对这些轨迹进行聚类,找出反复出现的操作。针对每种操作,一个“前沿”模型会编写一个简短的类型化基本操作,供冻结的小型模型执行。随后,系统通过A*搜索将这些基本操作串联起来,以找到正确的最终操作。推理时,该程序要么为学生模型提供一条思维链供其遵循,要么检查并修正模型提出的每项工具操作,再将其发送出去。

跨领域测试结果

研究人员在三个基准测试——电信、零售和LiveMCPBench(一套程序性工具调用测试)——中,将同一PLVR程序与三个Nemotron基础模型以及Granite-4.2-8B搭配测试。在电信测试中,每个Nemotron模型的准确率都达到93.3‑94.4%,而搭配PLVR的8B模型达到91.2%,只差几个百分点。在零售和LiveMCPBench测试中,PLVR程序的表现也能与已公布的最佳基线相竞争,不过在后者中落后3‑13个百分点。该方法还将不同基础模型之间的表现差距从平均约七个百分点缩小到约两个百分点。

为什么重要

对于开发工具调用助手的开发者来说,PLVR表明,在明确程序的引导下,价格相对低廉的8B模型也能取得几乎媲美大得多模型的表现。这有望降低算力成本,让更多人能够使用这类助手;不过,该方法仍依赖高质量的教师模型轨迹,效果也可能因领域而异。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。