fal AIとFireworksは、新たな投機的デコードシステム「EAGLE-4」の技術解説を公開した。ブログでは、テキストから画像、画像から画像、テキストから動画、画像から動画のタスクを対象に、400件のプロンプトを収録した公開ベンチマーク「Prompt Enhancement SpecBench」も発表している。NVIDIA B300 GPUでのテストでは、FireworksベンチマークにおいてEAGLE-4 Harnessがバッチサイズ1で毎秒660.6トークンを達成し、次点の手法を1.63倍上回った。また、木構造による検証により、創作的なプロンプトでは受け入れ長が最大26％伸びた。今回の取り組みは、高速な画像・動画生成モデルでエンドツーエンドの処理時間の大半を占めるようになったプロンプト拡張の遅延を減らすことを目指している。
なぜ重要か
プロンプト拡張を高速化すれば、画像・動画生成がほぼリアルタイムになるなかでも、開発者は応答性の高い体験を維持しやすくなる。
