O Google anunciou a API LiteRT Tensor, uma camada leve em C++ para criar modelos de IA executados no dispositivo. Ela oferece controle total sobre o grafo de computação e, ao mesmo tempo, é compatível com CPUs, GPUs (via ML Drift) e NPUs. A API foi demonstrada com o Segment Anything Model 2, da Meta, rodando inteiramente em um navegador com WebGPU, a mais de 30 fps e resolução de 512×512. Os desenvolvedores também podem carregar pesos diretamente de checkpoints e manter os dados nos aceleradores usando buffers sem cópia.
Por que importa
Desenvolvedores de aplicativos podem oferecer recursos de IA mais rápidos e com menor latência em celulares e navegadores, sem precisar manter códigos separados para cada chip.
