AI21 Labs, Google Kubernetes Engine üzerindeki yaklaşık 10.000 GPU’luk ortak havuzunu, manuel olarak yönetilen #gpu-resources kanalından açık kaynaklı bir iş kuyruğu sistemi olan Kueue’ya taşıdı. Kueue, işleri otomatik olarak sıraya alıyor, önceliklendiriyor ve gerektiğinde kaynakları boşaltmak için kesintiye uğratıyor; böylece talepleri koordine etmek için insan müdahalesine duyulan ihtiyaç azalıyor. Değişiklik, manuel müdahale oranlarını ve kritik işlerin kaynak bulamadan geçirdiği süreyi düşürdü. AI21, Kueue ekibiyle birlikte çalışarak Admission Fair Sharing gibi yeni özelliklerin geliştirilmesine katkıda bulundu.
Neden önemli
AI21’deki araştırmacılar, otomasyon sayesinde GPU erişimi için pazarlık etmeye daha az zaman harcıyor ve önemli eğitim işlerini daha hızlı başlatabiliyor.
