Tom’s Hardware’ın aktardığı Google geliştirici blogu duyurusuna göre, tensör işleme birimleri (TPU) adı verilen Google’a özel yapay zekâ çipleri artık Meta’da üretim ortamında yapay zekâ iş yüklerini çalıştırıyor. Kurulumda, yapay zekâ modellerini çalıştırmak ve yanıt üretmek için kullanılan SGLang yazılımının PyTorch’a özgü bir sürümü kullanılıyor. Google ayrıca yaygın olarak kullanılan başka bir çıkarım motoru olan vLLM’nin de PyTorch’a özgü bir sürümünü duyurdu.
Bu değişiklik, Meta’nın geliştirdiği yapay zekâ çerçevesi PyTorch’u kullanarak Google çiplerinden yararlanmasını sağlıyor; böylece daha önce olduğu gibi Google’ın JAX çerçevesine bağlı kalması gerekmiyor. Google, yeni sürümlerin geliştiricilerin yazılımlarını büyük ölçüde yeniden yazmadan TPU’ları kullanmasına olanak tanıdığını söylüyor. Haberin başlığında ayrıca Google’ın TPU’ları ilk kez dış müşterilere sattığı belirtiliyor, ancak aktarılan haberde bu müşterilerin kim olduğu ya da satışa ilişkin ayrıntılar verilmiyor.
JAX’in ötesine uzanan bir seçenek
Yazılım uyumluluğu önemli; çünkü geliştiricilerin araçları bir çipten yararlanamıyorsa o çip işe yaramaz. Daha önce SGLang ve vLLM, Google TPU’larda JAX aracılığıyla çalışıyordu. PyTorch’a özgü sürümler, çipleri hâlihazırda PyTorch kullanan ekipler için de bir seçenek hâline getirerek yapay zekâ iş yüklerini TPU donanımına taşıma sürecindeki işi azaltabilir.
Google, vLLM sürümünün açık kaynaklı olduğunu söylüyor. Haberde SGLang sürümünün de aynı lisans ya da erişim koşullarına sahip olup olmadığı belirtilmiyor; geliştiricilerin bu sürümlerden herhangi birini nasıl edinebileceği de açıklanmıyor. Ayrıca Meta’nın kaç TPU kullandığı, bu çiplerin hangi modellere hizmet verdiği ya da kurulumun nasıl bir performans gösterdiği konusunda da rakam verilmiyor.
Kullanıcılar için ne değişiyor?
Meta açısından doğrulanan değişiklik, veri merkezlerinde yapay zekâ iş yüklerini çalıştırmak için yeni bir seçeneğin devreye girmesi. Bu, mühendislerine daha fazla donanım seçeneği sunabilir; ancak haberde Meta ürünlerinin hızı, kalitesi veya kullanıcılar açısından erişilebilirliğinin değiştiğine dair bir kanıt yok. Ayrıca, sistemin üretimde kullanıldığı açıklamasının ötesinde, bunun bir test mi yoksa daha geniş kapsamlı bir uygulamaya geçiş mi olduğu belirtilmiyor.
Neden önemli
Meta’nın yapay zekâ mühendisleri artık SGLang ve vLLM’nin PyTorch’a özgü sürümleriyle Google TPU’larını kullanabiliyor; bu motorlar için JAX’e bağlı kalmaları gerekmiyor. Bu, Meta’ya yeni bir donanım seçeneği sunuyor, ancak kaynakta Meta ürünlerini kullananların hız ya da özellikler açısından bir fark görüp görmeyeceğine dair bilgi yok.
