fal AI en Fireworks hebben een technische verdieping gepubliceerd over hun nieuwe EAGLE-4-systeem voor speculative decoding. In de blog introduceren ze ook Prompt Enhancement SpecBench, een openbare benchmark met 400 prompts voor taken als tekst-naar-beeld, beeld-naar-beeld, tekst-naar-video en beeld-naar-video. In tests op NVIDIA B300-GPU's haalde de EAGLE-4 Harness 660.6 tokens per seconde bij batchgrootte 1 op de Fireworks-benchmark, een versnelling van 1.63× ten opzichte van de op één na beste methode. De boomstructuur voor verificatie verhoogde de acceptatielengte bij creatieve prompts bovendien met maximaal 26 %. Het doel is de latentie te verlagen van promptverbeteringsstappen, die inmiddels een groot deel van de totale verwerkingstijd van snelle beeld- en videomodellen in beslag nemen.
Waarom het ertoe doet
Dankzij snellere promptuitbreiding kunnen ontwikkelaars interactieve responstijden behouden nu beeld- en videogenerators bijna realtime werken.
