Google이 기기 내 AI 모델을 구축하는 경량 C++ 계층인 LiteRT Tensor API를 발표했다. 이 API를 사용하면 연산 그래프를 완전히 제어하면서 CPU, GPU(ML Drift 사용), NPU에서 실행할 수 있다. Google은 Meta의 Segment Anything Model 2가 WebGPU를 통해 브라우저에서만 실행되는 모습을 시연했으며, 512×512 해상도에서 30fps를 넘겼다. 개발자는 체크포인트에서 가중치를 바로 불러오고, 제로카피 버퍼를 이용해 데이터를 가속기에 그대로 둘 수도 있다.
왜 중요한가
앱 개발자는 칩마다 별도의 코드를 관리하지 않고도 휴대전화와 브라우저에 더 빠르고 지연 시간이 짧은 AI 기능을 제공할 수 있다.