Modal ha lanzado Spindle, un servidor de entrenamiento de código abierto y compatible con Tinker que se ejecuta en el espacio de trabajo de Modal de cada equipo. Los usuarios escriben su propio ciclo de entrenamiento y Spindle se encarga del entrenamiento distribuido. Modal afirma que los equipos pueden personalizar el servidor y pagar por el tiempo de uso de GPU, en lugar de pagar por token a través de una API.
Modal informa de costos más bajos que Tinker en varias cargas de trabajo, entre ellas una reducción del 63% en una configuración de DAPO-math y del 25% en una configuración con un agente de búsqueda y ocho clientes. Estas comparaciones son de la propia Modal, que señala que Spindle sigue en fase beta.
Por qué importa
Los equipos que realizan experimentos de entrenamiento de modelos de forma recurrente pueden usar Spindle para ejecutar ciclos de entrenamiento personalizados en Modal y quizá reducir costos al compartir la capacidad de GPU. El ahorro real depende de la carga de trabajo, y las comparaciones de Modal son datos proporcionados por la propia empresa.
