AI21 Labs bytte ut en manuell #gpu-resources-kanal mot Kueue, ett system med öppen källkod för köhantering av jobb, för sin gemensamma GPU-pool med omkring 10 000 GPU:er på Google Kubernetes Engine. Kueue tar automatiskt in, prioriterar och avbryter jobb, vilket minskar behovet av att samordna resursförfrågningar manuellt. Förändringen minskade både behovet av manuella insatser och tiden som kritiska jobb fick vänta på resurser. AI21 samarbetade med Kueue-teamet, vilket bidrog till nya funktioner som Admission Fair Sharing.
Varför det spelar roll
För AI21:s forskare innebär automatiseringen att de behöver lägga mindre tid på att förhandla om tillgång till GPU:er och att viktiga träningsjobb kommer igång snabbare.
