Google, açık kaynaklı vLLM ve SGLang projelerini TorchTPU adlı yerel bir PyTorch arka ucuyla TPU’larda çalıştıran yeni çıkarım motorlarını duyurdu. Motorlar, Inferact (vLLM) ve RadixArk (SGLang) ile birlikte geliştirildi ve Meta gibi şirketlerde üretim iş yüklerine hizmet veriyor. Pallas ile özel çekirdekler ve KV önbellek yönetimi gibi TPU’ya özgü iyileştirmeler içeren motorlar, PyTorch kullanıcılarının büyük ölçekte düşük gecikmeli hizmet sunmasını kolaylaştırmayı amaçlıyor.
Neden önemli
PyTorch geliştiricileri artık JAX’e geçmeden Google’ın TPU donanımında büyük dil modelleri için hızlı ve uygun maliyetli çıkarım hizmeti sunabiliyor.
