I ricercatori presentano GateRQ, un metodo per comprimere le tabelle di memoria condizionale, grandi archivi di schemi testuali associati a un modello linguistico. Invece di assegnare una precisione maggiore alle righe consultate più spesso, GateRQ usa il valore del gate di una ricerca per decidere se leggere altri codici a 1 bit; secondo lo studio, il gate può essere calcolato a partire da un codice a 1 bit.
Su DeepSeek-V4.1-Flash, i ricercatori riferiscono una riduzione di 7,8 volte della memoria occupata dalle tabelle sulla GPU e un throughput di vLLM superiore dell’11%–31% rispetto alle tabelle FP8. Nei test su due modelli, il metodo ha comportato una perdita di circa 1 punto in PopQA leggendo in media 1,50 bit per accesso, o di 0,2 punti con 2,10 bit; non richiede un nuovo addestramento.
Perché conta
Per i team che servono modelli con tabelle di memoria condizionale, GateRQ potrebbe ridurre l’uso della memoria GPU e aumentare il throughput. I risultati riportati, tuttavia, non dimostrano come si comporti al di fuori dei modelli testati.
