fal AI und Fireworks haben eine technische Analyse ihres neuen Systems EAGLE-4 für spekulatives Decoding veröffentlicht. Außerdem stellen sie den Prompt Enhancement SpecBench vor, einen öffentlichen Benchmark mit 400 Prompts für Text-zu-Bild-, Bild-zu-Bild-, Text-zu-Video- und Bild-zu-Video-Aufgaben. In Tests mit NVIDIA-B300-GPUs erreichte der EAGLE-4 Harness im Fireworks-Benchmark bei einer Batch-Größe von 1 eine Geschwindigkeit von 660.6 Tokens pro Sekunde – 1.63× so viel wie die nächstbeste Methode. Die baumbasierte Verifizierung erhöhte bei kreativen Prompts zudem die Akzeptanzlänge um bis zu 26 %. Ziel ist es, die Latenz bei der Prompt-Erweiterung zu senken, die inzwischen den größten Teil der Gesamtlaufzeit schneller Bild- und Videomodelle ausmacht.
Warum es wichtig ist
Eine schnellere Prompt-Erweiterung hilft Entwicklern, interaktive Reaktionszeiten zu gewährleisten, während Bild- und Videogeneratoren nahezu in Echtzeit arbeiten.
