# GateRQ senkt Speicherbedarf für Tabellen bei zwei LLMs

> Eine neue Studie schlägt vor, für jeden Speicherabruf gezielt festzulegen, wie viele Bits gelesen werden. Laut den Forschenden sinkt dadurch der GPU-Speicherbedarf für Tabellen, während der Durchsatz von vLLM steigt.

Oossa · 2026-10-28 · https://oossa.com/de/gaterq-cuts-conditional-memory-table-use-in-two-llms

Forschende stellen GateRQ vor, ein Verfahren zur Komprimierung von Tabellen für bedingten Speicher – großen Sammlungen von Textmustern, die einem Sprachmodell zugeordnet sind. Statt häufig abgerufenen Zeilen zusätzliche Präzision zuzuweisen, nutzt GateRQ den Gate-Wert eines Abrufs, um zu entscheiden, ob weitere 1-Bit-Codes gelesen werden. Dem Paper zufolge lässt sich der Gate-Wert anhand eines 1-Bit-Codes berechnen.

Bei DeepSeek-V4.1-Flash berichten die Forschenden von einem 7,8-mal geringeren GPU-Speicherbedarf für Tabellen und einem um 11 % bis 31 % höheren vLLM-Durchsatz im Vergleich zu FP8-Tabellen. Über zwei Modelle hinweg sank der PopQA-Wert laut ihren Angaben um etwa 1 Punkt, wenn pro Abruf durchschnittlich 1,50 Bits gelesen wurden, beziehungsweise um 0,2 Punkte bei 2,10 Bits. Ein erneutes Training ist für das Verfahren nicht erforderlich.

## Die Fakten

- Das Paper trägt die arXiv-Nummer 2610.35985 und wurde am 28. Oktober 2026 veröffentlicht.
- Die Forschenden berichten bei DeepSeek-V4.1-Flash von einem um das 7,8-Fache geringeren GPU-Speicherbedarf für Tabellen.

## Warum es wichtig ist

Für Teams, die Modelle mit Tabellen für bedingten Speicher bereitstellen, könnte GateRQ den GPU-Speicherbedarf senken und zugleich den Durchsatz erhöhen. Die berichteten Ergebnisse zeigen jedoch nicht, wie das Verfahren außerhalb der getesteten Modelle abschneidet.

## Quellen und Referenzen

1. [Let the Gate Decide: Per-Lookup Precision for Quantized Conditional Memory in LLMs](https://arxiv.org/abs/2610.35985) – arXiv cs.LG, 2026-10-28

Zuletzt aktualisiert: 2026-10-28