پژوهشگران Dory1.0-4B را معرفی کردهاند؛ یک مدل زبانی ۴ میلیاردپارامتری که میتواند بلوک مشترکش را هنگام استنتاج چندبار اجرا کند. به این ترتیب، یک چکپوینت میتواند با مقادیر متفاوتی از محاسبات کار کند و دیگر برای هر بودجهٔ محاسباتی به مدلی بزرگتر و جداگانه نیاز نیست.
طبق مقاله، اجرای دو حلقه یا بیشتر باعث شد این مدل در میانگینِ ۱۲ بنچمارک از چند مدل بزرگتر بهتر عمل کند. Dory با چهار حلقه، در بنچمارکهای عاملمحور ۱٫۳ تا ۲٫۵ برابر کمتر از حالت تکحلقهای توکن تولید کرد. پژوهشگران میگویند حجم حافظهٔ KV مدل با هر تعداد حلقه ثابت میماند و چکپوینتهای آن را در چهار قالب منتشر کردهاند.
چرا مهم است
برای توسعهدهندگانی که در انتخاب مدلهای آزاد هستند، Dory راهی برای صرف محاسبات بیشتر هنگام استنتاج، بدون افزایش حجم حافظهٔ KV، فراهم میکند؛ هرچند بهبودهای گزارششده در بنچمارکها مربوط به مقالهاند و نتیجه در همهٔ کاربردها را تضمین نمیکنند.