Forskare presenterar GateRQ, en metod för att komprimera tabeller med villkorat minne – stora samlingar textmönster som kopplas till en språkmodell. I stället för att ge ofta använda rader extra precision använder GateRQ uppslagets gate-värde för att avgöra om fler 1-bitarskoder ska läsas. Enligt artikeln kan gate-värdet beräknas utifrån en 1-bitarskod.
Med DeepSeek-V4.1-Flash rapporterar forskarna 7,8 gånger mindre tabellminne på GPU:n och 11–31 % högre genomströmning i vLLM än med FP8-tabeller. För två modeller rapporterar de en förlust på omkring 1 PopQA-poäng när i genomsnitt 1,50 bitar läses per uppslag, eller 0,2 poäng vid 2,10 bitar. Metoden kräver ingen omträning.
Varför det spelar roll
För team som kör modeller med tabeller för villkorat minne kan GateRQ minska GPU-minnesåtgången och samtidigt öka genomströmningen. Resultaten visar dock inte hur metoden fungerar utanför de testade modellerna.
