Oossa

微软与加州大学伯克利分校发布 TokenEconomizer

据报道,这款开源插件在 SWE-Bench 上将编程代理的 token 使用量降低了 18.4% 至 30.9%,且无需修改代理本身。

作者: Oossa 发布日期: 2 分钟阅读

Florian Olivo · Unsplash

微软研究院和加州大学伯克利分校发布了 TokenEconomizer,这是一款旨在减少编程代理 token 使用量的开源插件。MarkTechPost 报道称,该插件会从以往会话中学习,并在 SWE-Bench 上将 token 成本降低了 18.4% 至 30.9%。研究人员表示,使用这款插件无需修改代理本身。

Token 是 AI 系统处理的文本片段。减少 token 用量可以降低代理所需的模型调用量,不过,报道中的百分比指的是 token 成本,并非具体的美元金额。这些数字也不意味着所有用户都能获得同等幅度的节省:结果仅针对 SWE-Bench,现有信息没有说明不同任务或代理配置下的降幅有何差异。

从以往会话中学习是这款插件的核心思路。TokenEconomizer 被定位为一个利用会话历史提高 token 使用效率的附加工具,而不是要求用户改用其他编程代理。这对反复运行编程代理的团队可能有帮助,但相关介绍没有说明它会存储哪些信息、如何判断哪些内容可以复用,也没有说明用户能否控制这些选择。

目前尚不清楚的事项

据报道,这一降幅范围显示出节省 token 的潜力,但要评估其实际效果,还缺少必要细节。MarkTechPost 没有提供测试所用的模型或代理、基准测试配置、运行次数,也没有与其他节省 token 的方法进行比较。此外,报道也未说明结果是否经过独立验证。缺少这些信息时,应将该百分比视为一项针对单个基准测试的报告结果,而非适用于其他编程工作的保证。

TokenEconomizer 被描述为开源项目,但公告摘要没有提供代码仓库、许可证、支持的代理或安装要求。这些信息有助于开发者判断试用难度,以及该插件是否适配现有工具。目前能够确认的内容较为有限:微软研究院和加州大学伯克利分校发布了一款插件,据称它能在 SWE-Bench 上降低编程代理的 token 成本,且无需修改代理。

为什么重要

对于使用编程代理的开发者来说,如果类似的节省效果能在自己的任务中实现,较低的 token 用量可能会降低使用成本。目前报告的结果仅限于 SWE-Bench,现有信息无法证明实际工作中一定能节省成本,也没有给出具体金额或说明哪些代理可以使用该插件。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。