A fal AI e a Fireworks publicaram uma análise técnica detalhada do novo sistema de decodificação especulativa EAGLE-4. A publicação também apresenta o Prompt Enhancement SpecBench, um benchmark público com 400 prompts para tarefas de texto para imagem, imagem para imagem, texto para vídeo e imagem para vídeo. Nos testes com GPUs NVIDIA B300, o EAGLE-4 Harness atingiu 660.6 tokens por segundo com tamanho de lote 1 no benchmark da Fireworks, um ganho de velocidade de 1.63× em relação ao método seguinte. A verificação baseada em árvores também aumentou o comprimento de aceitação em até 26 % em prompts criativos. O trabalho busca reduzir a latência das etapas de aprimoramento de prompts, que hoje representam a maior parte do tempo total de processamento dos modelos rápidos de imagem e vídeo.
Por que importa
A expansão mais rápida de prompts permite que desenvolvedores mantenham tempos de resposta interativos à medida que os geradores de imagem e vídeo se aproximam do tempo real.
