Modal a lancé Spindle, un serveur d’entraînement open source compatible avec Tinker, qui s’exécute dans l’espace de travail Modal d’une équipe. Les utilisateurs écrivent leur propre boucle d’entraînement, tandis que Spindle prend en charge l’entraînement distribué. Selon Modal, les équipes peuvent personnaliser le serveur et payer le temps d’utilisation des GPU plutôt qu’un tarif d’API calculé par jeton.
Modal indique que Spindle coûte moins cher que Tinker pour plusieurs types de tâches, notamment 63 % de moins pour une configuration DAPO-math et 25 % de moins pour une configuration de recherche avec huit agents clients. Ces comparaisons sont celles de Modal, qui précise que Spindle est encore en bêta.
Pourquoi c'est important
Les équipes qui mènent régulièrement des expériences d’entraînement de modèles peuvent utiliser Spindle pour exécuter des boucles personnalisées sur Modal et réduire leurs coûts en partageant la capacité GPU. Les économies réelles dépendent de la charge de travail, et les comparaisons de Modal sont fournies par l’entreprise elle-même.
