# AI21, Kueue로 GPU 스케줄링 자동화

> AI21 Labs는 10,000개 GPU를 갖춘 GKE 클러스터에서 슬랙식 수동 조율을 Kueue로 대체해 수동 개입과 작업 자원 부족을 줄였다.

Oossa · 2026-10-04 · https://oossa.com/ko/ai21-moves-gpu-scheduling-from-manual-requests-to-kueue-automation

AI21 Labs는 Google Kubernetes Engine에서 운영하는 약 10,000개 GPU 규모의 공유 풀을 수동으로 요청을 조율하던 #gpu-resources 채널 대신 오픈소스 작업 큐잉 시스템인 Kueue로 전환했다. Kueue는 작업을 자동으로 승인하고 우선순위를 정하며 선점 처리해, 요청을 조율하는 데 필요한 인력을 줄인다. 이번 변경으로 수동 개입률이 낮아졌고, 중요한 작업이 자원을 확보하지 못한 채 대기하는 시간도 줄었다. AI21은 Kueue 팀과 협력해 Admission Fair Sharing 같은 새 기능 도입에도 기여했다.

## 팩트

- 단일 GKE 클러스터에서 약 10,000개 GPU를 관리한다.
- AI21은 우선순위가 높은 작업의 시작까지 걸리는 시간을 83% 줄였다.

## 왜 중요한가

AI21의 연구자들은 GPU 사용을 두고 조율하는 데 쓰는 시간을 줄이고, 중요한 학습 작업을 더 빨리 시작할 수 있다.

## 출처 및 참고 자료

1. [From manual negotiation to automated scheduling: How AI21 manages its GPU fleet with Kueue Google Cloud recently published our story on AI Hypercomputer, including an 83% reduction in time-to-start fo](https://www.ai21.com/blog/how-ai21-manages-its-gpu-fleet-with-kueue/) – AI21 Labs

최종 업데이트: 2026-10-04