Google hat die LiteRT Tensor API vorgestellt, eine schlanke C++-Schicht zum Erstellen von KI-Modellen, die direkt auf dem Gerät laufen. Sie bietet volle Kontrolle über den Berechnungsgraphen und ist zugleich mit CPUs, GPUs (über ML Drift) und NPUs kompatibel. Google demonstrierte die API mit Metas Segment Anything Model 2, das vollständig in einem Browser auf WebGPU lief und bei einer Auflösung von 512×512 mehr als 30 fps erreichte. Entwickler können außerdem Gewichte direkt aus Checkpoints laden und Daten dank Zero-Copy-Puffern auf den Beschleunigern belassen.
Warum es wichtig ist
App-Entwickler können KI-Funktionen mit geringerer Latenz und höherer Geschwindigkeit für Smartphones und Browser bereitstellen, ohne für jeden Chip separaten Code pflegen zu müssen.
