Bingxin Xing氏らの研究チームは、事前学習済み拡散トランスフォーマーの密な自己注意機構を、再学習なしで置き換える手法「Sink-Sparse Hybrid Attention」を発表した。この手法では、小規模なキャリブレーション用データセットから静的な「シンクマスク」を作成し、軽量なプーリングKVブランチを追加する。Wan2.1-T2V-1.3Bでは生成全体の速度が1.54倍、Z-Image-Turboでは1.57倍になり、品質は元のモデルと同等だった。
なぜ重要か
推論が速くなれば、開発者は画像や動画をより低コストで生成できる。テキストからメディアを生成するアプリのコスト削減につながる可能性がある。
