Modalは、チームのModalワークスペース上で動作する、オープンソースのTinker互換学習サーバー「Spindle」を公開しました。ユーザーが独自の学習ループを作成し、分散学習はSpindleが処理します。Modalによると、チームはサーバーをカスタマイズでき、APIのトークン単位の料金ではなく、GPUの利用時間に応じた料金を支払えます。
Modalは、複数のワークロードでTinkerよりコストを抑えられたと報告しています。具体的には、あるDAPO-mathの構成で63％、8クライアントの検索エージェント構成で25％の削減を実現したとしています。これらはModal独自の比較結果であり、同社によるとSpindleはまだベータ版です。
なぜ重要か
モデル学習の実験を繰り返すチームは、Modal上で独自の学習ループを実行するためにSpindleを利用でき、GPU容量を共有することでコストを抑えられる可能性があります。実際の削減幅はワークロードによって異なり、Modalの比較結果は同社による報告です。
