Oossa

ORL مدل‌های زبانی انتشار را تا ۷ برابر سریع‌تر می‌کند

چارچوب جدید ORL رمزگشایی مدل‌های انتشار 4B را بدون افت کیفیت سریع‌تر می‌کند و روی یک GPU به بیش از ۵٬۰۰۰ توکن در ثانیه می‌رسد.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

پژوهشگرانی به سرپرستی Yifan Yu روش ORL را معرفی کرده‌اند؛ روشی برای یادگیری باقیمانده روی‌سیاست در مدل‌های زبانی انتشار. ORL مدل را با مسیرهای پیش‌بینی خودش آموزش می‌دهد و برای دقیق‌تر کردن خروجی‌ها، تابع زیانِ انقباض آنتروپی را به کار می‌گیرد. در مدلی 4 B که از Qwen3‑4B تبدیل شده بود، ORL تعداد توکن‌های تولیدشده در هر گذر رو به جلو را تا ۶٫۲ برابر و توان عملیاتی کلی را حدود ۶٫۹ برابر افزایش داد؛ کیفیت خروجی نیز با مدل‌های خودبازگشتی هم‌سطح بود یا از آن‌ها بهتر شد. همین روش سرعت LLaDA‑2.1‑mini را ۱٫۵ برابر افزایش داد و بهبودهای محدودتری در DiffusionGemma ایجاد کرد.

چرا مهم است

توسعه‌دهندگان می‌توانند تولید متن سریع‌تر و باکیفیت را روی GPUهای رده مصرف‌کننده اجرا کنند و هزینه و تأخیر کاربردهایی مانند چت‌بات‌ها را کاهش دهند.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.