Modal har lanserat Spindle, en träningsserver med öppen källkod som är kompatibel med Tinker och körs i teamets Modal-arbetsyta. Användarna skriver sina egna träningsloopar, medan Spindle hanterar distribuerad träning. Modal uppger att team kan anpassa servern och betala för GPU-tid i stället för API-priser per token.
Modal rapporterar lägre kostnader än Tinker för flera arbetsbelastningar, däribland en minskning på 63 % för en DAPO-math-konfiguration och 25 % för en sökagentkonfiguration med åtta klienter. Jämförelserna kommer från Modal, och företaget uppger att Spindle fortfarande är i betaversion.
Varför det spelar roll
Team som genomför återkommande träningsexperiment med modeller kan använda Spindle för att köra anpassade träningsloopar på Modal och eventuellt sänka kostnaderna genom att dela GPU-kapacitet. De faktiska besparingarna beror på arbetsbelastningen, och jämförelserna kommer från leverantören.
