# أسلوب الانتباه المتناثر يسرّع النماذج اللغوية الهجينة طويلة السياق

> يقول باحثون إن فك الترميز أصبح أسرع في ستة نماذج هجينة، من دون تغيير أوزانها، مع مطابقة دقة الأداء الأساسية على 21 مجموعة بيانات طويلة السياق.

Oossa · 2026-11-05 · https://oossa.com/ar/a-sparse-attention-method-speeds-up-long-context-hybrid-llms

تاريخ الحدث: 2026-11-04

يصف باحثون طريقة لتسريع توليد النصوص طويلة السياق في النماذج اللغوية الكبيرة الهجينة، من دون إعادة تدريبها أو تغيير أوزانها. وتعتمد طريقتهم على جعل كل طبقة انتباه كامل تركز على الرموز الحديثة، ومقدمة مثبتة، ومجموعة محدودة من الرموز ذات الصلة التي تختارها من السياق الأوسع.

في اختبارات شملت ستة نماذج يتراوح حجمها بين 4 مليارات و397 مليار معلمة، أفاد الباحثون بأن دقة الأداء طابقت المستوى الأساسي على 21 مجموعة بيانات. وبالنسبة إلى Qwen3.5-4B، كان فك ترميز 256,000 رمز أسرع بما يصل إلى 2.22 مرة؛ وهذه نتائج أوردتها الورقة البحثية وليست تقييماً مستقلاً.

## الحقائق

- شملت الاختبارات ستة نماذج هجينة من ثلاث عائلات، بأحجام تتراوح بين 4B و397B معلمة.
- قُدّمت الورقة البحثية إلى arXiv في November 4, 2026.

## لماذا يهم

قد تساعد الزيادة المعلنة في السرعة الفرق التي تشغّل نماذج هجينة طويلة السياق على تقليل وقت فك الترميز من دون إعادة التدريب، لكن الورقة لا تثبت أداء الطريقة في أنظمتها الخاصة.

## المصادر والمراجع

1. [Accelerating Long-Context Decoding in Large-Scale Hybrid LLMs Without Retraining](https://arxiv.org/abs/2611.06133) – arXiv, 2026-11-05

آخر تحديث: 2026-11-05