# GateRQ minskar tabellminnet för två LLM:er

> En ny studie föreslår att antalet bitar som läses vid varje minnesuppslag väljs dynamiskt. Metoden uppges minska tabellminnet på GPU:n och öka genomströmningen i vLLM.

Oossa · 2026-10-28 · https://oossa.com/sv/gaterq-cuts-conditional-memory-table-use-in-two-llms

Forskare presenterar GateRQ, en metod för att komprimera tabeller med villkorat minne – stora samlingar textmönster som kopplas till en språkmodell. I stället för att ge ofta använda rader extra precision använder GateRQ uppslagets gate-värde för att avgöra om fler 1-bitarskoder ska läsas. Enligt artikeln kan gate-värdet beräknas utifrån en 1-bitarskod.

Med DeepSeek-V4.1-Flash rapporterar forskarna 7,8 gånger mindre tabellminne på GPU:n och 11–31 % högre genomströmning i vLLM än med FP8-tabeller. För två modeller rapporterar de en förlust på omkring 1 PopQA-poäng när i genomsnitt 1,50 bitar läses per uppslag, eller 0,2 poäng vid 2,10 bitar. Metoden kräver ingen omträning.

## Fakta

- Artikeln är arXiv:2610.35985 och publicerades den 28 oktober 2026.
- Forskarna rapporterar 7,8 gånger mindre tabellminne på GPU:n med DeepSeek-V4.1-Flash.

## Varför det spelar roll

För team som kör modeller med tabeller för villkorat minne kan GateRQ minska GPU-minnesåtgången och samtidigt öka genomströmningen. Resultaten visar dock inte hur metoden fungerar utanför de testade modellerna.

## Källor och referenser

1. [Let the Gate Decide: Per-Lookup Precision for Quantized Conditional Memory in LLMs](https://arxiv.org/abs/2610.35985) – arXiv cs.LG, 2026-10-28

Senast uppdaterad: 2026-10-28