Modal推出了Spindle。这是一款开源、兼容Tinker的训练服务器,可在团队的Modal工作区中运行。用户编写自己的训练循环,Spindle则负责分布式训练。Modal表示,团队可以自定义服务器,并按GPU使用时间付费,而不是采用按token计费的API定价。
Modal报告称,在几种工作负载中,Spindle的成本低于Tinker:例如,一种DAPO-math配置的成本降低了63%,一个包含八个客户端的搜索代理配置则降低了25%。这些是Modal自行进行的比较;该公司表示,Spindle仍处于测试阶段。
为什么重要
需要反复开展模型训练实验的团队,可以在Modal上使用Spindle运行自定义训练循环,并通过共享GPU容量降低成本;实际节省多少取决于工作负载,且Modal公布的对比数据来自厂商自身。