Oossa

Sink-Sparse Hybrid Attention acelera la generación de imágenes y videos

Un nuevo método de atención que no requiere reentrenamiento reduce hasta 1,57× el tiempo de inferencia en dos transformadores de difusión, sin perder calidad.

BrevePor Publicado por Oossa: 1 min de lectura

Un equipo de investigadores liderado por Bingxin Xing presentó Sink-Sparse Hybrid Attention, un método para reemplazar la autoatención densa en transformadores de difusión preentrenados sin volver a entrenarlos. La técnica crea «máscaras sink» estáticas a partir de un pequeño conjunto de calibración y añade una rama ligera de KV agrupada. En el modelo Wan2.1‑T2V‑1.3B acelera la generación de principio a fin en 1,54×, y en Z‑Image‑Turbo, en 1,57×, con una calidad comparable a la de los modelos originales.

Por qué importa

Una inferencia más rápida permite a los desarrolladores generar imágenes o videos a menor costo, lo que puede abaratar las aplicaciones que dependen de la generación de contenido multimedia a partir de texto.

¿Te resultó útil este artículo?
Compartir

Sigue leyendo

Oossa · Boletín

La semana en IA, explicada

Cada lunes: las noticias que vale la pena conocer, en lenguaje sencillo. Gratis, sin spam.