AI21 Labs pasó de coordinar manualmente el acceso a un grupo compartido de unas 10.000 GPU en Google Kubernetes Engine mediante un canal llamado #gpu-resources a usar Kueue, un sistema de colas de trabajos de código abierto. Kueue admite, prioriza y desaloja trabajos automáticamente, lo que reduce la necesidad de que las personas coordinen las solicitudes. El cambio redujo las intervenciones manuales y el tiempo que los trabajos críticos pasaban sin recursos. AI21 colaboró con el equipo de Kueue y contribuyó a impulsar nuevas funciones, como Admission Fair Sharing.
Por qué importa
Para los investigadores de IA de AI21, la automatización supone dedicar menos tiempo a negociar el acceso a GPU y empezar antes los trabajos de entrenamiento importantes.
