A AI21 Labs substituiu o canal compartilhado #gpu-resources, usado para coordenar manualmente o acesso a cerca de 10.000 GPUs no Google Kubernetes Engine, pelo Kueue, um sistema de filas de tarefas de código aberto. O Kueue admite, prioriza e interrompe tarefas automaticamente, reduzindo a necessidade de coordenar pedidos manualmente. A mudança diminuiu as intervenções manuais e o tempo que tarefas críticas ficavam sem recursos. A AI21 trabalhou com a equipe do Kueue, contribuindo para o desenvolvimento de novos recursos, como o Admission Fair Sharing.
Por que importa
Para os pesquisadores de IA da AI21, a automação significa menos tempo negociando acesso a GPUs e início mais rápido de tarefas importantes de treinamento.
