قدّم باحثون طريقة Low‑Rank Conditional Computation (LRCC)، التي تجعل نماذج اللغة المضغوطة أكثر ذكاءً. وتُزوَّد كل كتلة Transformer بموجّه صغير يختار بين عدة مسارات منخفضة الرتبة استنادًا إلى الرمز الحالي. والموجّهات هي الجزء الوحيد الذي يجري تدريبه، فيما تظل المصفوفات منخفضة الرتبة مجمّدة. وفي الاختبارات على Llama‑2‑7B وLlama‑3.2‑1B وQwen، حققت LRCC زيادة قدرها 7.6 نقطة في دقة المهام اللاحقة على Llama‑2‑7B مقارنةً بالضغط الثابت منخفض الرتبة، كما حسّنت مقياس الحيرة عند سرعة فك الترميز نفسها.
لماذا يهم
يمكن للمطوّرين تشغيل نماذج أقل كلفة تتكيف مع كل رمز وتحافظ على دقتها، ما يقلل تكاليف الحوسبة للتطبيقات التي تستخدم Llama أو Qwen.
