# Google meldet 2,4× schnellere sparse Video-Aufmerksamkeit auf TPUs

> Google zufolge senkte ein an Kacheln ausgerichteter Attention-Kernel die Latenz auf einem TPU-v6e-Chip. Der angegebene Geschwindigkeitsgewinn betrifft den Attention-Kernel, nicht die gesamte Videogenerierung.

Oossa · 2026-09-30 · https://oossa.com/de/google-reports-2-4-faster-sparse-video-attention-on-tpus

Datum des Ereignisses: 2026-09-30

Mit KI-Unterstützung erstellt und übersetzt. Prüfen Sie die Originalquellen unten.

Google hat eine Fallstudie zur Beschleunigung der Attention in der Videodiffusion veröffentlicht – einem rechenintensiven Schritt bei der Erzeugung langer Clips mit hoher Auflösung. Der JAX- und Pallas-Kernel nutzt Sparse Attention und richtet die Attention-Maske an den Kacheln aus, die der TPU berechnet.

In Tests auf einem TPU-v6e-Chip benötigte die finale Version 32,76 Millisekunden, gegenüber 78,70 Millisekunden für die dichte Splash Attention – laut Google eine Beschleunigung um den Faktor 2,40. Die Messungen basierten auf synthetischen Eingaben und schlossen Routing, die Umordnung von Tokens sowie die Kommunikation zwischen Geräten aus. Sie belegen daher keine Beschleunigung der Videogenerierung insgesamt.

## Die Fakten

- Die Tests umfassten 75.600 Tokens, 10 Heads und eine Head-Dimension von 128 auf einem TPU-v6e-Chip.
- Google gab für seinen finalen Sparse-Kernel 32,76 ms und für die dichte Splash Attention 78,70 ms an.

## Warum es wichtig ist

Für Teams, die die Videogenerierung auf TPUs optimieren, zeigt das Ergebnis: Eine Sparse-Maske kann langsamer sein als dichte Attention, wenn der Kernel nicht darauf ausgelegt ist, die richtigen Kacheln zu überspringen und effizient zu verarbeiten. Die Quelle zeigt nicht, wie sich das auf die Gesamtdauer der Videogenerierung auswirkt.

## Quellen und Referenzen

1. [Accelerating Spatio-Temporal Attention for Video Diffusion on TPUs](https://developers.googleblog.com/en/accelerating-spatio-temporal-attention-for-video-diffusion-on-tpus/) – Google for Developers

Zuletzt aktualisiert: 2026-09-30