دنیل نیومن، مدیرعامل Futurum Group، در X نوشت که عامل‌های هوش مصنوعی حالا پنج برابر انسان‌ها توکن مصرف می‌کنند. این ارقام از نموداری متعلق به Andreessen Horowitz (a16z) به دست آمده که میزان استفاده از OpenRouter را بررسی می‌کند. عامل‌ها تا اوت 7.3 تریلیون توکن پردازش کرده‌اند، درحالی‌که این رقم برای انسان‌ها 1.4 تریلیون توکن بوده است. نیومن می‌گوید این فاصله ممکن است به ده برابر یا بیشتر برسد.
چرا بیشتر این ترافیک بازیافتی است
a16z اشاره می‌کند که بیش از 85 ٪ توکن‌های مصرف‌شده توسط عامل‌ها از پرامپت‌های ذخیره‌شده در حافظه پنهان می‌آیند. یعنی عامل‌ها بیشتر متن‌هایی را که قبلاً دیده‌اند دوباره می‌خوانند، نه اینکه محتوای تازه‌ای تولید کنند. حافظه پنهان به سریع‌تر شدن پاسخ‌ها کمک می‌کند، اما شمار توکن‌ها را هم بالا می‌برد.
چرا مهم است
برای کاربران عادی، افزایش مصرف توکن توسط عامل‌ها نشان می‌دهد که ابزارهای هوش مصنوعی بارها برای دریافت همان اطلاعات به کار گرفته می‌شوند؛ این کار می‌تواند پاسخ‌ها را سریع‌تر کند، اما در عین حال میزان محتوای تازه‌ای را که واقعاً تولید می‌کنند پنهان می‌سازد. همچنین نشان می‌دهد هزینه‌های مبتنی بر شمار توکن‌ها ممکن است سریع‌تر از تعداد درخواست‌های کاربران رشد کند و بر قیمت‌گذاری سرویس‌هایی که به‌ازای هر توکن هزینه می‌گیرند اثر بگذارد.
