Oossa

Dory1.0-4B با محاسبات تکراری دقت را افزایش می‌دهد

این مدل ۴ میلیاردپارامتری هنگام استنتاج می‌تواند بلوک مشترکش را چندبار اجرا کند؛ یعنی با محاسبات بیشتر و بدون بزرگ‌تر شدن حافظهٔ KV، دقتش را در بنچمارک‌ها بالا ببرد.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

پژوهشگران Dory1.0-4B را معرفی کرده‌اند؛ یک مدل زبانی ۴ میلیاردپارامتری که می‌تواند بلوک مشترکش را هنگام استنتاج چندبار اجرا کند. به این ترتیب، یک چک‌پوینت می‌تواند با مقادیر متفاوتی از محاسبات کار کند و دیگر برای هر بودجهٔ محاسباتی به مدلی بزرگ‌تر و جداگانه نیاز نیست.

طبق مقاله، اجرای دو حلقه یا بیشتر باعث شد این مدل در میانگینِ ۱۲ بنچمارک از چند مدل بزرگ‌تر بهتر عمل کند. Dory با چهار حلقه، در بنچمارک‌های عامل‌محور ۱٫۳ تا ۲٫۵ برابر کمتر از حالت تک‌حلقه‌ای توکن تولید کرد. پژوهشگران می‌گویند حجم حافظهٔ KV مدل با هر تعداد حلقه ثابت می‌ماند و چک‌پوینت‌های آن را در چهار قالب منتشر کرده‌اند.

چرا مهم است

برای توسعه‌دهندگانی که در انتخاب مدل‌های آزاد هستند، Dory راهی برای صرف محاسبات بیشتر هنگام استنتاج، بدون افزایش حجم حافظهٔ KV، فراهم می‌کند؛ هرچند بهبودهای گزارش‌شده در بنچمارک‌ها مربوط به مقاله‌اند و نتیجه در همهٔ کاربردها را تضمین نمی‌کنند.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.