پژوهشگران روش «محاسبات شرطی با رتبه‌پایین» (LRCC) را معرفی کرده‌اند؛ روشی برای هوشمندتر کردن مدل‌های زبانی فشرده. در هر بلوک Transformer یک مسیریاب کوچک قرار می‌گیرد که بر اساس توکن فعلی، یکی از چند مسیر رتبه‌پایین را انتخاب می‌کند. فقط مسیریاب‌ها آموزش داده می‌شوند و ماتریس‌های رتبه‌پایین ثابت می‌مانند. آزمایش‌ها روی Llama‑2‑7B، Llama‑3.2‑1B و Qwen نشان داد LRCC در مقایسه با فشرده‌سازی ثابتِ رتبه‌پایین، دقت را در وظایف پایین‌دستی روی Llama‑2‑7B به‌اندازه 7.6 واحد درصد افزایش می‌دهد و با همان سرعت رمزگشایی، پریپلکسیتی بهتری دارد.
چرا مهم است
توسعه‌دهندگان می‌توانند مدل‌هایی کم‌هزینه‌تر و سازگار با هر توکن اجرا کنند که دقت خود را حفظ می‌کنند؛ این کار هزینه محاسباتی برنامه‌های مبتنی بر Llama یا Qwen را کاهش می‌دهد.
