# GateRQ halveert tabelgebruik voor conditioneel geheugen in twee LLM’s

> Een nieuwe studie stelt voor om per geheugenopvraging te bepalen hoeveel bits worden gelezen. Dat levert volgens de onderzoekers minder GPU-geheugenbeslag op en meer throughput in vLLM.

Oossa · 2026-10-28 · https://oossa.com/nl/gaterq-cuts-conditional-memory-table-use-in-two-llms

Onderzoekers introduceren GateRQ, een methode om tabellen voor conditioneel geheugen te comprimeren: grote verzamelingen tekstpatronen die aan een taalmodel zijn gekoppeld. In plaats van extra precisie toe te kennen aan vaak geraadpleegde rijen, gebruikt GateRQ de gatewaarde van een opvraging om te bepalen of er extra codes van 1 bit moeten worden gelezen. Volgens het artikel kan de gate worden berekend op basis van een code van 1 bit.

Voor DeepSeek-V4.1-Flash rapporteren de onderzoekers 7,8 keer minder GPU-geheugen voor de tabellen en 11%–31% hogere throughput in vLLM dan met FP8-tabellen. Bij twee modellen ging de methode volgens hen gepaard met een verlies van ongeveer 1 PopQA-punt bij gemiddeld 1,50 gelezen bits per opvraging, of 0,2 punt bij 2,10 bits. De methode vereist geen nieuwe training.

## De feiten

- Het artikel is arXiv:2610.35985 en is gepubliceerd op 28 oktober 2026.
- De onderzoekers rapporteren voor DeepSeek-V4.1-Flash 7,8× minder GPU-geheugen voor de tabellen.

## Waarom het ertoe doet

Voor teams die modellen met tabellen voor conditioneel geheugen inzetten, kan GateRQ het GPU-geheugenbeslag verkleinen en de throughput verhogen. De gerapporteerde resultaten laten echter niet zien hoe de methode presteert buiten de geteste modellen.

## Bronnen en referenties

1. [Let the Gate Decide: Per-Lookup Precision for Quantized Conditional Memory in LLMs](https://arxiv.org/abs/2610.35985) – arXiv cs.LG, 2026-10-28

Laatst bijgewerkt: 2026-10-28