AI21 Labs è passata da un canale #gpu-resources in cui le richieste venivano gestite manualmente a Kueue, un sistema open source per mettere in coda i job, per il pool condiviso di circa 10.000 GPU su Google Kubernetes Engine. Kueue ammette, assegna priorità e interrompe automaticamente i job, riducendo la necessità di coordinare le richieste a mano. Il cambiamento ha diminuito sia gli interventi manuali sia il tempo in cui i job critici restavano senza risorse. AI21 ha collaborato con il team di Kueue, contribuendo allo sviluppo di nuove funzionalità come Admission Fair Sharing.
Perché conta
Per i ricercatori di AI21, l'automazione significa meno tempo speso a negoziare l'accesso alle GPU e un avvio più rapido dei job di addestramento più importanti.
