# LRCC låter komprimerade språkmodeller anpassa beräkningarna efter varje token

> Den nya LRCC-metoden låter Llama- och Qwen-modeller välja enklare eller mer avancerade beräkningsvägar för varje token och ökar träffsäkerheten utan extra hårdvara.

Oossa · 2026-10-08 · https://oossa.com/sv/lrcc-adds-token-dependent-computation-to-low-rank-compressed-llms

Forskare har presenterat Low-Rank Conditional Computation (LRCC), en metod för att göra komprimerade språkmodeller smartare. Varje Transformer-block får en liten router som väljer mellan flera låg-rangsvägar utifrån den aktuella tokenen. Det är bara routrarna som tränas; låg-rangmatriserna hålls frysta. Tester med Llama‑2‑7B, Llama‑3.2‑1B och Qwen visade att LRCC ökade träffsäkerheten i efterföljande uppgifter med 7,6 procentenheter för Llama‑2‑7B jämfört med statisk låg-rangkomprimering. Metoden gav också lägre perplexity vid samma avkodningshastighet.

## Fakta

- 7,6 procentenheters ökning av den genomsnittliga träffsäkerheten i efterföljande uppgifter med Llama‑2‑7B
- Artikeln publicerades 2026‑10‑08

## Varför det spelar roll

Utvecklare kan köra billigare modeller som anpassar beräkningarna efter varje token utan att tappa träffsäkerhet. Det kan sänka beräkningskostnaderna för tillämpningar som använder Llama eller Qwen.

## Källor och referenser

1. [LRCC: Generalizing Low-Rank Compression with Conditional Computation](https://arxiv.org/abs/2610.08858) – arXiv, 2026-10-08

Senast uppdaterad: 2026-10-08