Google anunció LiteRT Tensor API, una capa ligera de C++ para crear modelos de IA que se ejecutan en el dispositivo. Ofrece control total sobre el grafo de cómputo y, a la vez, es compatible con CPU, GPU (mediante ML Drift) y NPU. La API se presentó con Segment Anything Model 2 de Meta, que se ejecutó íntegramente en un navegador con WebGPU y superó los 30 fps a una resolución de 512×512. Los desarrolladores también pueden cargar los pesos directamente desde puntos de control y mantener los datos en los aceleradores mediante búferes de copia cero.
Por qué importa
Los desarrolladores de aplicaciones pueden ofrecer funciones de IA más rápidas y con menor latencia en teléfonos y navegadores, sin mantener código distinto para cada chip.
