Google, cihaz üzerinde çalışan yapay zekâ modelleri oluşturmak için hafif bir C++ katmanı olan LiteRT Tensor API’yi duyurdu. API, hesaplama grafiği üzerinde tam kontrol sunarken CPU’lar, GPU’lar (ML Drift aracılığıyla) ve NPU’lar arasında taşınabilirlik sağlıyor. API’nin tanıtımında, Meta’nın Segment Anything Model 2’sinin WebGPU kullanarak tamamen tarayıcıda çalıştığı ve 512×512 çözünürlükte 30 fps’nin üzerine çıktığı gösterildi. Geliştiriciler ayrıca ağırlıkları doğrudan kontrol noktalarından yükleyebiliyor ve sıfır kopyalı tamponlarla verileri hızlandırıcılarda tutabiliyor.
Neden önemli
Uygulama geliştiricileri, her çip için ayrı kod tutmadan telefonlara ve tarayıcılara daha hızlı, daha düşük gecikmeli yapay zekâ özellikleri sunabilir.
