Los investigadores presentan GateRQ, un método para comprimir tablas de memoria condicional: grandes almacenes de patrones de texto asociados a un modelo de lenguaje. En lugar de asignar precisión adicional a las filas más consultadas, GateRQ usa el valor de compuerta de cada consulta para decidir si lee códigos adicionales de 1 bit. Según el artículo, la compuerta se puede calcular a partir de un código de 1 bit.
En DeepSeek-V4.1-Flash, los investigadores reportan 7,8 veces menos memoria de tablas en la GPU y un rendimiento de vLLM entre un 11 % y un 31 % mayor que con tablas FP8. En dos modelos, reportan una pérdida de aproximadamente 1 punto en PopQA con un promedio de 1,50 bits leídos por consulta, o de 0,2 puntos con 2,10 bits. El método no requiere reentrenamiento.
Por qué importa
Para los equipos que sirven modelos con tablas de memoria condicional, GateRQ podría reducir el uso de memoria de la GPU y aumentar el rendimiento, aunque los resultados reportados no permiten determinar cómo funciona fuera de los modelos evaluados.
