Oossa

Modal سرور متن‌باز آموزش مدل Spindle را عرضه کرد

Spindle از Modal به تیم‌ها امکان می‌دهد آموزش مدل‌های سازگار با Tinker را در فضای کاری خودشان در Modal اجرا کنند و به‌جای توکن، هزینه زمان استفاده از GPU را بپردازند. این محصول هنوز در مرحله بتاست.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

Modal محصول Spindle را عرضه کرده است؛ سروری متن‌باز و سازگار با Tinker برای آموزش مدل که در فضای کاری تیم‌ها در Modal اجرا می‌شود. کاربران حلقه آموزش خودشان را می‌نویسند و Spindle آموزش توزیع‌شده را مدیریت می‌کند. Modal می‌گوید تیم‌ها می‌توانند سرور را شخصی‌سازی کنند و به‌جای پرداخت هزینه API بر اساس تعداد توکن، هزینه زمان استفاده از GPU را بپردازند.

Modal گزارش می‌دهد که هزینه Spindle در چند نوع کار از Tinker کمتر است؛ از جمله 63% کاهش هزینه در یک پیکربندی DAPO-math و 25% در پیکربندی یک عامل جست‌وجو با هشت کلاینت. این مقایسه‌ها را خود Modal انجام داده و شرکت می‌گوید Spindle هنوز در مرحله بتاست.

چرا مهم است

تیم‌هایی که آزمایش‌های مکرر آموزش مدل انجام می‌دهند، می‌توانند حلقه‌های آموزشی سفارشی خود را با Spindle روی Modal اجرا کنند و با استفاده مشترک از ظرفیت GPU هزینه‌ها را کاهش دهند؛ میزان صرفه‌جویی واقعی به نوع کار بستگی دارد و ارقام مقایسه‌ای را فروشنده گزارش کرده است.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.