Modal выпустила Spindle — сервер для обучения моделей с открытым исходным кодом, совместимый с Tinker и работающий в рабочем пространстве Modal команды. Пользователи сами пишут цикл обучения, а Spindle отвечает за распределённое обучение. По словам Modal, команды могут настраивать сервер и платить за время работы GPU вместо тарификации API за каждый токен.
Modal сообщает, что в нескольких сценариях Spindle обходится дешевле Tinker: например, расходы снизились на 63% в одной конфигурации DAPO-math и на 25% при работе поискового агента с восемью клиентами. Это собственные сравнения Modal; компания отмечает, что Spindle всё ещё находится в бета-версии.
Почему это важно
Команды, которые регулярно проводят эксперименты по обучению моделей, могут запускать собственные циклы обучения в Modal с помощью Spindle и, возможно, сократить расходы за счёт совместного использования ресурсов GPU. Фактическая экономия зависит от сценария, а сравнения Modal основаны на данных самой компании.
