Oossa

研究:AI智能体的Token消耗量是人类的5倍

Futurum Group称,AI智能体8月使用了7.3万亿个Token,是人类用量的5倍,其中大部分来自缓存提示词。

OossaOossa 发布日期: 1 分钟阅读

Markus Spiske · Unsplash

Futurum Group首席执行官Daniel Newman在X上发文称,AI智能体如今消耗的Token是人类的5倍。这一数据来自Andreessen Horowitz(a16z)根据OpenRouter用量绘制的图表。截至8月,智能体处理了7.3万亿个Token,人类则使用了1.4万亿个。Newman表示,这一差距可能扩大到10倍甚至更多。

为何大部分流量都是重复内容

a16z指出,智能体使用的Token中,超过85%来自缓存提示词。这意味着,智能体主要是在重新读取已经看过的文本,而非生成新内容。缓存有助于加快响应速度,但也会推高Token总量。

为什么重要

对普通用户来说,智能体Token用量激增表明,AI工具会反复调用相同信息,这能让响应更快,但也掩盖了它们实际生成了多少新内容。这也意味着,按Token计费的成本可能比用户发起的查询增长得更快,从而影响按Token收费的服务定价。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。