Futurum Group CEO’su Daniel Newman, X’te yapay zekâ ajanlarının artık insanlardan beş kat fazla token kullandığını yazdı. Rakamlar, OpenRouter kullanımını izleyen Andreessen Horowitz (a16z) grafiğine dayanıyor. Ağustos itibarıyla ajanlar 7,3 trilyon, insanlar ise 1,4 trilyon token işledi. Newman, aradaki farkın on kata veya daha fazlasına çıkabileceğini söylüyor.
Trafiğin çoğu neden tekrardan ibaret?
a16z, ajanların kullandığı token’ların %85’ten fazlasının önbelleğe alınmış istemlerden geldiğini belirtiyor. Bu, ajanların yeni içerik üretmek yerine büyük ölçüde daha önce gördükleri metinleri yeniden okuduğu anlamına geliyor. Önbellek yanıtları hızlandırıyor, ancak token sayısını da artırıyor.
Neden önemli
Gündelik kullanıcılar açısından ajanların token kullanımındaki artış, yapay zekâ araçlarının aynı bilgi için tekrar tekrar çağrıldığını gösteriyor. Bu, yanıtları hızlandırsa da gerçekte ne kadar yeni içerik ürettiklerini anlamayı zorlaştırıyor. Ayrıca token sayısına bağlı maliyetlerin kullanıcıların oluşturduğu sorgulardan daha hızlı artabileceğine işaret ediyor; bu da token başına ücret alan hizmetlerin fiyatlandırmasını etkileyebilir.
