گوگل API LiteRT Tensor را معرفی کرد؛ لایه‌ای سبک مبتنی بر C++ برای ساخت مدل‌های هوش مصنوعی روی دستگاه. این API کنترل کامل گراف محاسباتی را در اختیار توسعه‌دهندگان می‌گذارد و در عین حال، اجرای آن را روی CPU، GPU (از طریق ML Drift) و NPU ممکن می‌کند. گوگل در نمایش این API، مدل Segment Anything Model 2 متعلق به Meta را به‌طور کامل در مرورگر و با WebGPU اجرا کرد؛ مدل در وضوح 512×512 به بیش از 30 فریم‌برثانیه رسید. توسعه‌دهندگان همچنین می‌توانند وزن‌ها را مستقیماً از چک‌پوینت‌ها بارگذاری کنند و بافرها را بدون کپی، روی شتاب‌دهنده‌ها نگه دارند.
چرا مهم است
توسعه‌دهندگان اپلیکیشن می‌توانند قابلیت‌های هوش مصنوعی سریع‌تر و کم‌تأخیرتری را برای گوشی‌ها و مرورگرها عرضه کنند، بی‌آنکه لازم باشد برای هر تراشه کد جداگانه نگه دارند.
