Google heeft de LiteRT Tensor API aangekondigd, een lichte C++-laag voor het bouwen van AI-modellen die op het apparaat draaien. Ontwikkelaars krijgen volledige controle over de rekenkundige grafiek, terwijl de code draagbaar blijft tussen CPU’s, GPU’s (via ML Drift) en NPU’s. De API werd gedemonstreerd met Meta’s Segment Anything Model 2, dat volledig in een browser op WebGPU draaide met meer dan 30 fps bij een resolutie van 512×512. Ontwikkelaars kunnen ook rechtstreeks gewichten uit checkpoints laden en gegevens met zero-copybuffers op accelerators houden.
Waarom het ertoe doet
Appontwikkelaars kunnen sneller AI-functies met een lagere latentie uitbrengen voor telefoons en browsers, zonder aparte code voor elke chip te hoeven onderhouden.
