AI21 Labs a remplacé le canal partagé #gpu-resources, où les demandes étaient gérées manuellement, par Kueue, un système open source de mise en file d’attente des tâches, pour répartir son parc d’environ 10 000 GPU sur Google Kubernetes Engine. Kueue admet, hiérarchise et préempte automatiquement les tâches, ce qui réduit le besoin de coordonner les demandes. Ce changement a diminué les interventions manuelles et le temps pendant lequel les tâches critiques restaient sans ressources. AI21 a travaillé avec l’équipe de Kueue, contribuant à l’ajout de nouvelles fonctionnalités comme Admission Fair Sharing.
Pourquoi c'est important
Pour les chercheurs en IA d’AI21, l’automatisation leur permet de consacrer moins de temps à négocier l’accès aux GPU et d’accélérer le lancement des tâches d’entraînement importantes.
