Forschende stellen GateRQ vor, ein Verfahren zur Komprimierung von Tabellen für bedingten Speicher – großen Sammlungen von Textmustern, die einem Sprachmodell zugeordnet sind. Statt häufig abgerufenen Zeilen zusätzliche Präzision zuzuweisen, nutzt GateRQ den Gate-Wert eines Abrufs, um zu entscheiden, ob weitere 1-Bit-Codes gelesen werden. Dem Paper zufolge lässt sich der Gate-Wert anhand eines 1-Bit-Codes berechnen.
Bei DeepSeek-V4.1-Flash berichten die Forschenden von einem 7,8-mal geringeren GPU-Speicherbedarf für Tabellen und einem um 11 % bis 31 % höheren vLLM-Durchsatz im Vergleich zu FP8-Tabellen. Über zwei Modelle hinweg sank der PopQA-Wert laut ihren Angaben um etwa 1 Punkt, wenn pro Abruf durchschnittlich 1,50 Bits gelesen wurden, beziehungsweise um 0,2 Punkte bei 2,10 Bits. Ein erneutes Training ist für das Verfahren nicht erforderlich.
Warum es wichtig ist
Für Teams, die Modelle mit Tabellen für bedingten Speicher bereitstellen, könnte GateRQ den GPU-Speicherbedarf senken und zugleich den Durchsatz erhöhen. Die berichteten Ergebnisse zeigen jedoch nicht, wie das Verfahren außerhalb der getesteten Modelle abschneidet.
