Google ha annunciato LiteRT Tensor API, un livello leggero in C++ per creare modelli di IA da eseguire sui dispositivi. Offre il pieno controllo sul grafo di calcolo, mantenendo la portabilità tra CPU, GPU (tramite ML Drift) e NPU. L’API è stata presentata con Segment Anything Model 2 di Meta, eseguito interamente in un browser con WebGPU e capace di superare i 30 fps a una risoluzione di 512×512. Gli sviluppatori possono anche caricare i pesi direttamente dai checkpoint e mantenere i dati sugli acceleratori grazie a buffer a copia zero.
Perché conta
Gli sviluppatori di app possono offrire funzionalità di IA più veloci e con una latenza inferiore su telefoni e browser, senza dover mantenere codice distinto per ogni chip.
