Oossa

Agentes de IA usam cinco vezes mais tokens que humanos, diz estudo

Segundo o Futurum Group, agentes de IA usaram 7,3 trilhões de tokens em agosto — cinco vezes o volume dos humanos. A maior parte veio de prompts armazenados em cache.

OossaPublicado pelo Oossa: 1 min de leitura

Markus Spiske · Unsplash

O CEO do Futurum Group, Daniel Newman, publicou no X que os agentes de IA já usam cinco vezes mais tokens que as pessoas. Os números vêm de um gráfico da Andreessen Horowitz (a16z) que acompanha o uso do OpenRouter. Em agosto, os agentes haviam processado 7,3 trilhões de tokens, enquanto os humanos haviam usado 1,4 trilhão. Newman diz que a diferença pode chegar a dez vezes ou mais.

Por que a maior parte do tráfego é repetida

A a16z observa que mais de 85 % dos tokens usados pelos agentes vêm de prompts armazenados em cache. Isso significa que os agentes estão, em grande parte, relendo textos que já viram, em vez de gerar conteúdo novo. O cache ajuda a acelerar as respostas, mas também aumenta a contagem de tokens.

Por que importa

Para os usuários comuns, o aumento no uso de tokens por agentes mostra que as ferramentas de IA são acionadas repetidamente para obter as mesmas informações. Isso pode torná-las mais rápidas, mas também oculta quanto conteúdo novo elas realmente criam. Também sugere que os custos vinculados à contagem de tokens podem crescer mais rápido que as consultas dos usuários, afetando os preços de serviços cobrados por token.

Este artigo foi útil?
Compartilhar

Leia a seguir

Oossa · Newsletter

A semana em IA, explicada

Toda segunda-feira: as notícias que valem a pena, em linguagem simples. Grátis, sem spam.