# روش توجه تنک، مدل‌های زبانی ترکیبیِ بافت‌بلند را سریع‌تر می‌کند

> پژوهشگران می‌گویند رمزگشایی در شش مدل ترکیبی سریع‌تر شده، بی‌آنکه وزن‌های مدل تغییر کند؛ دقت نیز در 21 مجموعه‌داده بافت‌بلند با خط پایه برابر بوده است.

Oossa · 2026-11-05 · https://oossa.com/fa/a-sparse-attention-method-speeds-up-long-context-hybrid-llms

تاریخ رویداد: 2026-11-04

پژوهشگران روشی برای سریع‌تر کردن تولید متن با بافت‌بلند در مدل‌های زبانی بزرگ ترکیبی معرفی کرده‌اند که نیازی به آموزش دوباره یا تغییر وزن‌های مدل ندارد. در این روش، هر لایه با توجه کامل بر توکن‌های اخیر، یک پیشوند ثابت و مجموعه محدودی از توکن‌های مرتبط که از میان بافت گسترده‌تر انتخاب می‌شوند تمرکز می‌کند.

پژوهشگران در آزمایش‌های خود روی شش مدل با 4 میلیارد تا 397 میلیارد پارامتر، می‌گویند دقت خط پایه در 21 مجموعه‌داده حفظ شده است. در Qwen3.5-4B، رمزگشایی 256,000 توکن تا 2.22 برابر سریع‌تر بود؛ این‌ها نتایج گزارش‌شده در مقاله‌اند و ارزیابی مستقلی نیستند.

## حقایق

- آزمایش‌ها شش مدل ترکیبی از سه خانواده مدل را دربر گرفتند که از 4B تا 397B پارامتر داشتند.
- این مقاله در 4 نوامبر 2026 به arXiv ارسال شد.

## چرا مهم است

برای گروه‌هایی که مدل‌های ترکیبی بافت‌بلند را اجرا می‌کنند، سرعت‌های گزارش‌شده می‌تواند زمان رمزگشایی را بدون آموزش دوباره کاهش دهد؛ بااین‌حال، مقاله مشخص نمی‌کند این روش در سامانه‌های خود آن‌ها چه عملکردی خواهد داشت.

## منابع و ارجاع‌ها

1. [Accelerating Long-Context Decoding in Large-Scale Hybrid LLMs Without Retraining](https://arxiv.org/abs/2611.06133) – arXiv, 2026-11-05

آخرین به‌روزرسانی: 2026-11-05