fal AI och Fireworks har publicerat en teknisk djupdykning i sitt nya system för spekulativ avkodning, EAGLE-4. I blogginlägget lanserar de också Prompt Enhancement SpecBench, ett öppet benchmark med 400 promptar för uppgifter inom text-till-bild, bild-till-bild, text-till-video och bild-till-video. I tester på NVIDIA B300-GPU:er nådde EAGLE-4 Harness 660.6 tokens per sekund vid batchstorlek 1 i Fireworks benchmark, vilket var 1.63× snabbare än den näst bästa metoden. Trädstrukturerad verifiering ökade dessutom acceptanslängden med upp till 26 % för kreativa promptar. Målet är att minska fördröjningen i stegen för promptförbättring, som numera står för en stor del av den totala tiden i snabba bild- och videomodeller.
Varför det spelar roll
Snabbare promptutökning gör att utvecklare kan behålla interaktiva svarstider när bild- och videogeneratorer närmar sig realtid.
