AI21 Labs перевела общий пул примерно из 10 000 GPU на Google Kubernetes Engine с ручного распределения через канал #gpu-resources на Kueue — систему управления очередями задач с открытым исходным кодом. Kueue автоматически допускает задачи к запуску, расставляет приоритеты и прерывает выполнение, поэтому сотрудникам реже приходится координировать запросы. После перехода сократилось число ручных вмешательств и время, в течение которого критически важные задачи ожидали ресурсов. AI21 работала вместе с командой Kueue, благодаря чему появились новые функции, например Admission Fair Sharing.
Почему это важно
Автоматизация позволяет исследователям AI21 тратить меньше времени на согласование доступа к GPU и быстрее запускать важные задачи обучения.
