研究者らは、生成するドラフトトークンの数と、使用する推測手法を選ぶ学習型コントローラー「APEX」を発表した。推論エンジンのvLLMに組み込める仕組みで、言語モデルQwen3-8Bを使って評価された。6種類のベンチマーク負荷で、APEXは標準的な自己回帰デコードと比べて最大5.24倍の高速化を達成した。APEX-Depthは、サイズ16の固定n-gramドラフトと比べて無駄なトークンを41%削減しながら、3.27倍の高速化を維持した。
なぜ重要か
開発者は大規模言語モデルをより速く、低コストで実行できるようになり、リアルタイムAI機能をより手頃な価格で提供できる。
