AI21 Labs stellte seinen gemeinsam genutzten Pool mit rund 10.000 GPUs auf Google Kubernetes Engine von einem manuellen #gpu-resources-Kanal auf Kueue um, ein Open-Source-System zur Verwaltung von Job-Warteschlangen. Kueue lässt Jobs automatisch zu, priorisiert sie und kann sie zugunsten anderer Jobs unterbrechen. Dadurch müssen sich Mitarbeitende seltener um die Abstimmung von Anfragen kümmern. Die Umstellung verringerte den manuellen Aufwand und verkürzte die Zeit, in der wichtige Jobs ohne Ressourcen blieben. AI21 arbeitete mit dem Kueue-Team zusammen und regte dabei neue Funktionen wie Admission Fair Sharing an.
Warum es wichtig ist
Für die KI-Forschenden von AI21 bedeutet die Automatisierung weniger Zeit für Absprachen über den GPU-Zugang und einen schnelleren Start wichtiger Trainingsjobs.
