Oossa

Google, 기기 내 모델 제작용 LiteRT Tensor API 공개

새 API를 사용하면 개발자가 C++로 모델 그래프를 직접 구성할 수 있으며, 하드웨어별로 코드를 다시 작성하지 않고도 CPU, GPU, NPU에서 실행할 수 있다.

짧은 소식작성: Oossa 게시일: 1 분 읽기

사건 날짜:

Google이 기기 내 AI 모델을 구축하는 경량 C++ 계층인 LiteRT Tensor API를 발표했다. 이 API를 사용하면 연산 그래프를 완전히 제어하면서 CPU, GPU(ML Drift 사용), NPU에서 실행할 수 있다. Google은 Meta의 Segment Anything Model 2가 WebGPU를 통해 브라우저에서만 실행되는 모습을 시연했으며, 512×512 해상도에서 30fps를 넘겼다. 개발자는 체크포인트에서 가중치를 바로 불러오고, 제로카피 버퍼를 이용해 데이터를 가속기에 그대로 둘 수도 있다.

왜 중요한가

앱 개발자는 칩마다 별도의 코드를 관리하지 않고도 휴대전화와 브라우저에 더 빠르고 지연 시간이 짧은 AI 기능을 제공할 수 있다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.