Pesquisadores apresentam o GateRQ, um método para comprimir tabelas de memória condicional — grandes conjuntos de padrões de texto associados a um modelo de linguagem. Em vez de atribuir precisão extra às linhas acessadas com frequência, o GateRQ usa o valor de gate de uma consulta para decidir se deve ler códigos adicionais de 1 bit; segundo o artigo, o gate pode ser calculado a partir de um código de 1 bit.
No DeepSeek-V4.1-Flash, os pesquisadores relatam usar 7,8 vezes menos memória da GPU para as tabelas e obter throughput de 11% a 31% maior no vLLM do que com tabelas FP8. Em dois modelos, relatam uma perda de cerca de 1 ponto no PopQA com uma média de 1,50 bit lido por consulta, ou de 0,2 ponto com 2,10 bits. O método não exige retreinamento.
Por que importa
Para equipes que executam modelos com tabelas de memória condicional, o GateRQ pode reduzir o uso de memória da GPU e aumentar o throughput. No entanto, os resultados relatados não mostram como o método se comporta fora dos modelos testados.
