Forskare under ledning av Bingxin Xing har presenterat Sink-Sparse Hybrid Attention, en metod för att ersätta tät self-attention i förtränade diffusionstransformermodeller utan att träna om dem. Tekniken skapar statiska ”sink masks” utifrån ett litet kalibreringsunderlag och kompletterar dem med en lättviktig, poolad KV-gren. På modellen Wan2.1‑T2V‑1.3B snabbar den upp genereringen från början till slut med 1,54×, och på Z‑Image‑Turbo med 1,57×, samtidigt som kvaliteten är jämförbar med originalmodellerna.
Varför det spelar roll
Snabbare inferens gör det billigare för utvecklare att generera bilder eller video, vilket kan sänka kostnaderna för appar som bygger på text-till-media-generering.
