Oossa

AI-agents gebruiken vijf keer zoveel tokens als mensen

Volgens Futurum Group gebruikten AI-agents in augustus 7,3 biljoen tokens, vijf keer zoveel als mensen. Het merendeel daarvan komt uit gecachte prompts.

OossaGepubliceerd door Oossa: 1 min lezen

Markus Spiske · Unsplash

Daniel Newman, CEO van Futurum Group, schreef op X dat AI-agents inmiddels vijf keer zoveel tokens gebruiken als mensen. De cijfers komen uit een grafiek van Andreessen Horowitz (a16z), gebaseerd op het gebruik van OpenRouter. In augustus hadden agents 7,3 biljoen tokens verwerkt, tegenover 1,4 biljoen bij mensen. Volgens Newman kan het verschil oplopen tot tien keer of meer.

Waarom het meeste verkeer hergebruik is

a16z merkt op dat meer dan 85% van de tokens die agents gebruiken afkomstig is uit gecachte prompts. Dat betekent dat agents grotendeels tekst opnieuw lezen die ze al eerder hebben gezien, in plaats van nieuwe inhoud te genereren. De cache versnelt de reacties, maar drijft ook het aantal tokens op.

Waarom het ertoe doet

Voor gewone gebruikers laat de sterke stijging van het tokengebruik door agents zien dat AI-tools herhaaldelijk om dezelfde informatie worden gevraagd. Dat kan ze sneller maken, maar verhult ook hoeveel nieuwe inhoud ze daadwerkelijk creëren. Het wijst er bovendien op dat kosten op basis van tokenaantallen sneller kunnen stijgen dan het aantal vragen van gebruikers, wat gevolgen kan hebben voor de prijzen van diensten die per token afrekenen.

Was dit artikel nuttig?
Delen

Lees ook

Oossa · Nieuwsbrief

De AI-week, uitgelegd

Elke maandag: het nieuws dat ertoe doet, in gewone taal. Gratis, geen spam.