Google ने नए इनफरेंस इंजन पेश किए हैं, जिनसे ओपन-सोर्स vLLM और SGLang प्रोजेक्ट TorchTPU नाम के नेटिव PyTorch बैकएंड के ज़रिए TPU पर चलते हैं। इन्हें Inferact (vLLM) और RadixArk (SGLang) के साथ मिलकर विकसित किया गया है और ये Meta जैसी कंपनियों में पहले से ही प्रोडक्शन वर्कलोड संभाल रहे हैं। इनमें TPU के लिए खास ऑप्टिमाइज़ेशन शामिल हैं, जैसे कस्टम Pallas kernels और KV-cache प्रबंधन। इनका मकसद PyTorch यूज़र के लिए बड़े पैमाने पर, कम लेटेंसी वाली सर्विंग को आसान बनाना है।
यह क्यों मायने रखता है
PyTorch डेवलपर अब JAX पर स्विच किए बिना Google के TPU हार्डवेयर पर बड़े लैंग्वेज मॉडल के लिए तेज़ और किफायती इनफरेंस चला सकते हैं।
