Google ने LiteRT Tensor API की घोषणा की है। यह डिवाइस पर चलने वाले AI मॉडल बनाने के लिए C++ की एक हल्की लेयर है। इससे कंप्यूटेशन ग्राफ़ पर पूरा नियंत्रण मिलता है और साथ ही CPU, GPU (ML Drift के ज़रिए) तथा NPU पर भी मॉडल चलाए जा सकते हैं। इस API का प्रदर्शन Meta के Segment Anything Model 2 को WebGPU पर पूरी तरह ब्राउज़र में चलाकर किया गया। 512×512 रिज़ॉल्यूशन पर इसकी गति 30 fps से अधिक रही। डेवलपर सीधे चेकपॉइंट से वेट भी लोड कर सकते हैं और ज़ीरो-कॉपी बफ़र के ज़रिए डेटा को एक्सेलरेटर पर ही रख सकते हैं।
यह क्यों मायने रखता है
ऐप डेवलपर हर चिप के लिए अलग कोड बनाए रखे बिना, फोन और ब्राउज़र पर तेज़ और कम विलंबता वाले AI फ़ीचर उपलब्ध करा सकते हैं।
