fal AI y Fireworks publicaron un análisis técnico detallado de su nuevo sistema de decodificación especulativa EAGLE-4. La publicación también presenta Prompt Enhancement SpecBench, un benchmark público con 400 prompts para tareas de texto a imagen, imagen a imagen, texto a video e imagen a video. En sus pruebas con GPU NVIDIA B300, EAGLE-4 Harness alcanzó 660.6 tokens por segundo con un tamaño de lote de 1 en el benchmark de Fireworks, una velocidad 1.63× superior a la del siguiente método. La verificación basada en árboles también aumentó hasta un 26 % la longitud de aceptación en prompts creativos. El objetivo del trabajo es reducir la latencia de las etapas de mejora de prompts, que ahora representan la mayor parte del tiempo total de procesamiento de los modelos rápidos de imagen y video.
Por qué importa
La expansión más rápida de prompts permite a los desarrolladores mantener tiempos de respuesta interactivos a medida que los generadores de imágenes y videos se acercan al tiempo real.
