fal AI и Fireworks опубликовали подробный технический разбор своей новой системы спекулятивного декодирования EAGLE-4. В блоге также представлен Prompt Enhancement SpecBench — открытый бенчмарк из 400 промптов для задач преобразования текста в изображение, изображения в изображение, текста в видео и изображения в видео. В тестах на GPU NVIDIA B300 система EAGLE-4 Harness показала 660.6 токенов в секунду при размере пакета 1 на бенчмарке Fireworks — в 1.63 раза быстрее ближайшего конкурента. Древовидная проверка также увеличила длину принимаемого фрагмента до 26 % на творческих промптах. Цель этой работы — сократить задержку на этапе улучшения промптов, который теперь занимает основную часть общего времени работы быстрых моделей генерации изображений и видео.
Почему это важно
Более быстрое расширение промптов помогает разработчикам сохранять интерактивную скорость отклика по мере того, как генераторы изображений и видео приближаются к работе в реальном времени.
