# LRCC से संपीड़ित LLM हर टोकन के लिए चुनेंगे गणना का रास्ता

> नई LRCC विधि Llama और Qwen मॉडल को हर टोकन के लिए कम खर्चीला या अधिक सक्षम रास्ता चुनने देती है। इससे अतिरिक्त हार्डवेयर के बिना सटीकता बढ़ती है।

Oossa · 2026-10-08 · https://oossa.com/hi/lrcc-adds-token-dependent-computation-to-low-rank-compressed-llms

शोधकर्ताओं ने Low‑Rank Conditional Computation (LRCC) पेश किया है, जो संपीड़ित भाषा मॉडल को अधिक सक्षम बनाने का तरीका है। इसमें हर Transformer ब्लॉक को एक छोटा-सा राउटर मिलता है, जो मौजूदा टोकन के आधार पर कई लो-रैंक रास्तों में से एक चुनता है। प्रशिक्षण सिर्फ राउटरों का होता है; लो-रैंक मैट्रिक्स स्थिर रहते हैं। Llama‑2‑7B, Llama‑3.2‑1B और Qwen पर किए गए परीक्षणों में, स्थिर लो-रैंक संपीड़न की तुलना में LRCC ने Llama‑2‑7B की आगे के कार्यों पर औसत सटीकता 7.6 अंक बढ़ाई। समान डिकोडिंग गति पर इसकी perplexity भी बेहतर रही।

## तथ्य

- Llama‑2‑7B पर आगे के कार्यों की औसत सटीकता में 7.6 प्रतिशत-अंक की बढ़त
- पेपर 2026‑10‑08 को पोस्ट किया गया

## यह क्यों मायने रखता है

डेवलपर ऐसे कम खर्चीले मॉडल चला सकते हैं जो हर टोकन के हिसाब से अपना रास्ता चुनें और सटीकता बनाए रखें। इससे Llama या Qwen इस्तेमाल करने वाले ऐप्लिकेशन की कंप्यूटिंग लागत घट सकती है।

## स्रोत और संदर्भ

1. [LRCC: Generalizing Low-Rank Compression with Conditional Computation](https://arxiv.org/abs/2610.08858) – arXiv, 2026-10-08

अंतिम अपडेट: 2026-10-08