fal AI et Fireworks ont publié une analyse technique approfondie de leur nouveau système de décodage spéculatif EAGLE-4. L’article présente aussi Prompt Enhancement SpecBench, un benchmark public regroupant 400 prompts pour des tâches de génération d’images à partir de texte, de transformation d’image, de génération de vidéos à partir de texte et de génération de vidéos à partir d’images. Lors de leurs tests sur des GPU NVIDIA B300, le système EAGLE-4 Harness a atteint 660.6 tokens per second avec une taille de lot de 1 sur le benchmark Fireworks, soit une accélération de 1.63× par rapport à la méthode suivante. La vérification arborescente a également augmenté la longueur acceptée jusqu’à 26 % pour les prompts créatifs. Ces travaux visent à réduire la latence des étapes d’amélioration des prompts, qui représentent désormais la majeure partie du temps de traitement total des modèles rapides de génération d’images et de vidéos.
Pourquoi c'est important
L’enrichissement plus rapide des prompts permet aux développeurs de maintenir des temps de réponse interactifs, alors que les générateurs d’images et de vidéos approchent du temps réel.
