Googleは、端末上で動くAIモデルを構築するための軽量なC++レイヤー、LiteRT Tensor APIを発表した。計算グラフを完全に制御できる一方、CPU、GPU（ML Drift経由）、NPUで動作する。デモでは、MetaのSegment Anything Model 2をWebGPU上でブラウザー内のみで実行し、512×512の解像度で30fps超を達成した。開発者はチェックポイントから重みを直接読み込めるほか、ゼロコピーのバッファーを使ってデータをアクセラレーター上に保持できる。
なぜ重要か
アプリ開発者は、チップごとに別のコードを管理することなく、より高速で遅延の少ないAI機能をスマートフォンやブラウザー向けに提供できる。
