Oossa

Modal推出开源训练服务器Spindle

Spindle兼容Tinker,可让团队在自己的Modal工作区中训练模型,按GPU使用时间付费,而非按token付费。目前仍处于测试阶段。

简讯作者: Oossa 发布日期: 1 分钟阅读

Modal推出了Spindle。这是一款开源、兼容Tinker的训练服务器,可在团队的Modal工作区中运行。用户编写自己的训练循环,Spindle则负责分布式训练。Modal表示,团队可以自定义服务器,并按GPU使用时间付费,而不是采用按token计费的API定价。

Modal报告称,在几种工作负载中,Spindle的成本低于Tinker:例如,一种DAPO-math配置的成本降低了63%,一个包含八个客户端的搜索代理配置则降低了25%。这些是Modal自行进行的比较;该公司表示,Spindle仍处于测试阶段。

为什么重要

需要反复开展模型训练实验的团队,可以在Modal上使用Spindle运行自定义训练循环,并通过共享GPU容量降低成本;实际节省多少取决于工作负载,且Modal公布的对比数据来自厂商自身。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。