Les chercheurs présentent GateRQ, une méthode pour compresser les tables de mémoire conditionnelle, de vastes ensembles de motifs textuels associés à un modèle de langage. Au lieu d’attribuer une précision supplémentaire aux lignes souvent consultées, GateRQ se sert de la valeur de porte d’un accès pour déterminer s’il faut lire des codes supplémentaires de 1 bit. Selon l’article, cette valeur peut être calculée à partir d’un code de 1 bit.
Avec DeepSeek-V4.1-Flash, les chercheurs font état d’une réduction de 7,8 fois de la mémoire GPU occupée par les tables et d’un débit supérieur de 11 % à 31 % avec vLLM par rapport aux tables FP8. Sur deux modèles, ils rapportent une baisse d’environ 1 point à PopQA avec une moyenne de 1,50 bit lu par accès, ou de 0,2 point avec 2,10 bits. La méthode ne nécessite pas de réentraînement.
Pourquoi c'est important
Pour les équipes qui déploient des modèles utilisant des tables de mémoire conditionnelle, GateRQ pourrait réduire l’utilisation de la mémoire GPU tout en augmentant le débit. Les résultats publiés ne permettent toutefois pas de savoir comment la méthode se comporte en dehors des modèles testés.
