Forschende beschreiben ein Verfahren, mit dem sich die Textgenerierung bei Hybridmodellen großer Sprachmodelle mit langem Kontext beschleunigen lässt, ohne sie neu zu trainieren oder ihre Gewichte zu verändern. Dabei konzentriert sich jede Schicht mit vollständiger Attention auf aktuelle Tokens, einen angehefteten Präfix und eine begrenzte Auswahl relevanter Tokens aus dem größeren Kontext.
In Tests mit sechs Modellen mit 4 Milliarden bis 397 Milliarden Parametern berichten die Forschenden, dass die Genauigkeit auf 21 Datensätzen der Baseline entspricht. Bei Qwen3.5-4B war die Decodierung von 256,000 Tokens bis zu 2.22-mal schneller. Dabei handelt es sich um die im Paper berichteten Ergebnisse, nicht um eine unabhängige Bewertung.
Warum es wichtig ist
Für Teams, die Hybridmodelle mit langem Kontext betreiben, könnten die berichteten Geschwindigkeitsgewinne die Decodierzeit verkürzen, ohne dass ein erneutes Training nötig ist. Das Paper zeigt jedoch nicht, wie gut das Verfahren in ihren eigenen Systemen funktioniert.
