Google宣布推出LiteRT Tensor API，这是一个用于构建设备端AI模型的轻量级C++层。它让开发者能够全面控制计算图，同时兼顾在CPU、GPU（通过ML Drift）和NPU上的可移植性。Google演示了Meta的Segment Anything Model 2：该模型完全在浏览器中通过WebGPU运行，在512×512分辨率下帧率超过30 fps。开发者还可以直接从检查点加载权重，并通过零拷贝缓冲区让数据留在加速器上。
为什么重要
应用开发者无需为不同芯片分别维护代码，就能为手机和浏览器推出速度更快、延迟更低的AI功能。
