Futurum GroupのCEO、Daniel Newman氏はXへの投稿で、AIエージェントが人間の5倍のトークンを使っていると述べた。根拠となったのは、OpenRouterの利用状況を追跡したAndreessen Horowitz（a16z）のグラフだ。8月時点でエージェントは7.3兆トークンを処理した一方、人間は1.4兆トークンを使用した。Newman氏は、この差が10倍以上に広がる可能性があると見ている。
トラフィックの大半が再利用されている理由
a16zによると、エージェントが使うトークンの85％超は、キャッシュされたプロンプトによるものだ。つまり、エージェントは新しい内容を生成するよりも、すでに処理したテキストを読み直しているケースが多い。キャッシュによって応答は速くなる一方、トークン数も膨らむ。
なぜ重要か
日常的に使う人にとって、エージェントのトークン使用量の急増は、AIツールが同じ情報を繰り返し参照していることを示している。応答は速くなる一方、実際にどれだけ新しい内容を生成しているかは見えにくくなる。また、トークン数に応じたコストは、ユーザーが生成する問い合わせより速いペースで増える可能性があり、従量課金サービスの価格にも影響しうる。
