Modal ha lanciato Spindle, un server open source per l’addestramento compatibile con Tinker, che funziona nel workspace Modal di un team. Gli utenti scrivono il proprio ciclo di addestramento, mentre Spindle gestisce l’addestramento distribuito. Secondo Modal, i team possono personalizzare il server e pagare il tempo di utilizzo delle GPU, anziché le tariffe API calcolate per token.
Modal dichiara costi inferiori rispetto a Tinker in diversi carichi di lavoro, tra cui una riduzione del 63% in una configurazione DAPO-math e del 25% in una configurazione con otto client per un agente di ricerca. Si tratta di confronti effettuati da Modal stessa; l’azienda precisa che Spindle è ancora in beta.
Perché conta
I team che ripetono esperimenti di addestramento dei modelli possono usare Spindle per eseguire cicli personalizzati su Modal e potenzialmente ridurre i costi condividendo la capacità delle GPU. Il risparmio effettivo dipende dal carico di lavoro e i confronti citati sono stati forniti dal venditore.
