# افزودن محاسبات وابسته به توکن به مدل‌های فشرده‌شده با رتبه‌پایین

> روش جدید LRCC به مدل‌های Llama و Qwen امکان می‌دهد برای هر توکن مسیرهای کم‌هزینه‌تر یا غنی‌تر را انتخاب کنند و بدون سخت‌افزار اضافه، دقت را افزایش دهند.

Oossa · 2026-10-08 · https://oossa.com/fa/lrcc-adds-token-dependent-computation-to-low-rank-compressed-llms

پژوهشگران روش «محاسبات شرطی با رتبه‌پایین» (LRCC) را معرفی کرده‌اند؛ روشی برای هوشمندتر کردن مدل‌های زبانی فشرده. در هر بلوک Transformer یک مسیریاب کوچک قرار می‌گیرد که بر اساس توکن فعلی، یکی از چند مسیر رتبه‌پایین را انتخاب می‌کند. فقط مسیریاب‌ها آموزش داده می‌شوند و ماتریس‌های رتبه‌پایین ثابت می‌مانند. آزمایش‌ها روی Llama‑2‑7B، Llama‑3.2‑1B و Qwen نشان داد LRCC در مقایسه با فشرده‌سازی ثابتِ رتبه‌پایین، دقت را در وظایف پایین‌دستی روی Llama‑2‑7B به‌اندازه 7.6 واحد درصد افزایش می‌دهد و با همان سرعت رمزگشایی، پریپلکسیتی بهتری دارد.

## حقایق

- افزایش 7.6 واحد درصدی میانگین دقت در وظایف پایین‌دستی روی Llama‑2‑7B
- مقاله در 2026‑10‑08 منتشر شد

## چرا مهم است

توسعه‌دهندگان می‌توانند مدل‌هایی کم‌هزینه‌تر و سازگار با هر توکن اجرا کنند که دقت خود را حفظ می‌کنند؛ این کار هزینه محاسباتی برنامه‌های مبتنی بر Llama یا Qwen را کاهش می‌دهد.

## منابع و ارجاع‌ها

1. [LRCC: Generalizing Low-Rank Compression with Conditional Computation](https://arxiv.org/abs/2610.08858) – arXiv, 2026-10-08

آخرین به‌روزرسانی: 2026-10-08