Modal heeft Spindle uitgebracht, een opensource trainingsserver die compatibel is met Tinker en in de Modal-omgeving van een team draait. Gebruikers schrijven hun eigen trainingslus, terwijl Spindle de gedistribueerde training afhandelt. Volgens Modal kunnen teams de server aanpassen en betalen ze voor GPU-tijd in plaats van API-gebruik per token.
Modal meldt lagere kosten dan bij Tinker voor verschillende workloads, waaronder een daling van 63% bij een DAPO-math-configuratie en 25% bij een zoekagentconfiguratie met acht clients. Dit zijn vergelijkingen van Modal zelf; het bedrijf zegt dat Spindle nog in bèta is.
Waarom het ertoe doet
Teams die herhaaldelijk experimenten met modeltraining uitvoeren, kunnen Spindle gebruiken om aangepaste trainingslussen op Modal te draaien en mogelijk kosten te besparen door GPU-capaciteit te delen. De werkelijke besparingen hangen af van de workload; de vergelijkingen zijn afkomstig van de leverancier.
