پژوهشگران روشی برای سریع‌تر کردن تولید متن با بافت‌بلند در مدل‌های زبانی بزرگ ترکیبی معرفی کرده‌اند که نیازی به آموزش دوباره یا تغییر وزن‌های مدل ندارد. در این روش، هر لایه با توجه کامل بر توکن‌های اخیر، یک پیشوند ثابت و مجموعه محدودی از توکن‌های مرتبط که از میان بافت گسترده‌تر انتخاب می‌شوند تمرکز می‌کند.
پژوهشگران در آزمایش‌های خود روی شش مدل با 4 میلیارد تا 397 میلیارد پارامتر، می‌گویند دقت خط پایه در 21 مجموعه‌داده حفظ شده است. در Qwen3.5-4B، رمزگشایی 256,000 توکن تا 2.22 برابر سریع‌تر بود؛ این‌ها نتایج گزارش‌شده در مقاله‌اند و ارزیابی مستقلی نیستند.
چرا مهم است
برای گروه‌هایی که مدل‌های ترکیبی بافت‌بلند را اجرا می‌کنند، سرعت‌های گزارش‌شده می‌تواند زمان رمزگشایی را بدون آموزش دوباره کاهش دهد؛ بااین‌حال، مقاله مشخص نمی‌کند این روش در سامانه‌های خود آن‌ها چه عملکردی خواهد داشت.
