AI21 Labs stapte voor zijn gedeelde pool van ongeveer 10.000 GPU’s op Google Kubernetes Engine over van een handmatig #gpu-resources-kanaal naar Kueue, een open-source wachtrijsysteem voor jobs. Kueue laat jobs automatisch toe, geeft ze prioriteit en kan ze onderbreken, waardoor medewerkers minder vaak aanvragen hoeven af te stemmen. Door de verandering waren minder handmatige ingrepen nodig en stonden kritieke jobs korter zonder resources. AI21 werkte samen met het Kueue-team; dat leidde tot nieuwe functies, zoals Admission Fair Sharing.
Waarom het ertoe doet
Voor AI-onderzoekers bij AI21 betekent de automatisering dat ze minder tijd kwijt zijn aan onderhandelen over GPU-toegang en belangrijke trainingsjobs sneller kunnen starten.
