Google a annoncé LiteRT Tensor API, une couche C++ légère pour créer des modèles d’IA exécutés sur l’appareil. Elle offre un contrôle total sur le graphe de calcul tout en restant portable sur les CPU, les GPU (via ML Drift) et les NPU. L’API a été présentée avec Segment Anything Model 2 de Meta, qui s’exécute entièrement dans un navigateur avec WebGPU et atteint plus de 30 images par seconde en résolution 512×512. Les développeurs peuvent aussi charger directement les poids depuis des points de contrôle et conserver les données sur les accélérateurs grâce à des tampons sans copie.
Pourquoi c'est important
Les développeurs d’applications peuvent proposer plus rapidement des fonctionnalités d’IA à faible latence sur les téléphones et dans les navigateurs, sans avoir à maintenir un code distinct pour chaque puce.
