AI21, Kueue로 GPU 스케줄링 자동화

AI21 Labs는 Google Kubernetes Engine에서 운영하는 약 10,000개 GPU 규모의 공유 풀을 수동으로 요청을 조율하던 #gpu-resources 채널 대신 오픈소스 작업 큐잉 시스템인 Kueue로 전환했다. Kueue는 작업을 자동으로 승인하고 우선순위를 정하며 선점 처리해, 요청을 조율하는 데 필요한 인력을 줄인다. 이번 변경으로 수동 개입률이 낮아졌고, 중요한 작업이 자원을 확보하지 못한 채 대기하는 시간도 줄었다. AI21은 Kueue 팀과 협력해 Admission Fair Sharing 같은 새 기능 도입에도 기여했다.