A Modal lançou o Spindle, um servidor de treinamento open source compatível com o Tinker, que funciona no espaço de trabalho de uma equipe na Modal. Os usuários escrevem seu próprio ciclo de treinamento, enquanto o Spindle cuida do treinamento distribuído. Segundo a Modal, as equipes podem personalizar o servidor e pagar pelo tempo de uso da GPU, em vez de pagar por token à API.
A Modal relata custos menores que os do Tinker em várias cargas de trabalho, incluindo uma redução de 63% em uma configuração de DAPO-math e de 25% em uma configuração com agente de busca e oito clientes. As comparações são da própria Modal, que afirma que o Spindle ainda está em beta.
Por que importa
Equipes que fazem experimentos repetidos de treinamento de modelos podem usar o Spindle para executar ciclos personalizados de treinamento na Modal e talvez reduzir custos compartilhando a capacidade de GPU. A economia real depende da carga de trabalho, e as comparações divulgadas são da própria empresa.
