Google presenterade LiteRT Tensor API, ett lättviktigt C++-lager för att bygga AI-modeller som körs på enheten. Det ger full kontroll över beräkningsgrafen och fungerar samtidigt på CPU:er, GPU:er (via ML Drift) och NPU:er. API:et demonstrerades med Metas Segment Anything Model 2, som kördes helt i en webbläsare med WebGPU och nådde över 30 fps i upplösningen 512×512. Utvecklare kan också läsa in vikter direkt från kontrollpunkter och behålla data på acceleratorerna med nollkopieringsbuffertar.
Varför det spelar roll
Apputvecklare kan leverera snabbare AI-funktioner med lägre fördröjning till telefoner och webbläsare, utan att behöva underhålla separat kod för varje chip.
