Исследователи под руководством Бинсинь Сина представили Sink-Sparse Hybrid Attention — метод, который заменяет плотное self-attention в предварительно обученных диффузионных трансформерах без повторного обучения. Техника строит статические «маски-ловушки» на небольшом калибровочном наборе данных и добавляет лёгкую ветвь с агрегированными ключами и значениями (KV). Модель Wan2.1‑T2V‑1.3B генерирует данные в 1,54 раза быстрее, а Z‑Image‑Turbo — в 1,57 раза, при сопоставимом с исходными моделями качестве.
Почему это важно
Более быстрый инференс позволяет разработчикам дешевле генерировать изображения и видео, что может снизить расходы на приложения для создания контента по текстовому запросу.
