Onderzoekers introduceren GateRQ, een methode om tabellen voor conditioneel geheugen te comprimeren: grote verzamelingen tekstpatronen die aan een taalmodel zijn gekoppeld. In plaats van extra precisie toe te kennen aan vaak geraadpleegde rijen, gebruikt GateRQ de gatewaarde van een opvraging om te bepalen of er extra codes van 1 bit moeten worden gelezen. Volgens het artikel kan de gate worden berekend op basis van een code van 1 bit.
Voor DeepSeek-V4.1-Flash rapporteren de onderzoekers 7,8 keer minder GPU-geheugen voor de tabellen en 11%–31% hogere throughput in vLLM dan met FP8-tabellen. Bij twee modellen ging de methode volgens hen gepaard met een verlies van ongeveer 1 PopQA-punt bij gemiddeld 1,50 gelezen bits per opvraging, of 0,2 punt bij 2,10 bits. De methode vereist geen nieuwe training.
Waarom het ertoe doet
Voor teams die modellen met tabellen voor conditioneel geheugen inzetten, kan GateRQ het GPU-geheugenbeslag verkleinen en de throughput verhogen. De gerapporteerde resultaten laten echter niet zien hoe de methode presteert buiten de geteste modellen.
