Google представила LiteRT Tensor API — лёгкий слой на C++ для создания ИИ-моделей, работающих непосредственно на устройстве. API даёт полный контроль над вычислительным графом и при этом совместим с CPU, GPU (через ML Drift) и NPU. Возможности API показали на примере Meta Segment Anything Model 2: модель работала целиком в браузере на WebGPU и выдавала более 30 кадров/с при разрешении 512×512. Разработчики также могут загружать веса напрямую из контрольных точек и хранить данные на ускорителях, используя буферы без копирования.
Почему это важно
Разработчики приложений смогут выпускать более быстрые функции ИИ с меньшей задержкой для телефонов и браузеров, не поддерживая отдельный код для каждого чипа.
