Das ggml-org-Team hat llama.cpp b12549 mit Korrekturen bei der Verarbeitung von Attention-Masken für Inkling2 veröffentlicht, ein vom Projekt unterstütztes Modell. Das Update ergänzt für Inkling2 einen eigenen Eingang, der die dichte Attention-Maske und den Bias für relative Positionen aus denselben Zellen erstellt. Außerdem wird die Erstellung von Masken für Hybrid-Memory-Modelle korrigiert, die die Wiederverwendung des Rechengraphen mit einem einheitlichen Cache und Flash Attention verhindert hatte. Betroffen sind LFM2, LFM3 und Inkling2. Das Update erlaubt zudem, den Skalierungsfaktor für die Expert-Gewichte und den Softcap der finalen Logits von Inkling2 auf null zu setzen.
Warum es wichtig ist
Für alle, die diese Hybrid-Memory-Modelle mit llama.cpp ausführen, beheben die Korrekturen einen Fehler, der die Wiederverwendung des Rechengraphen mit einem einheitlichen Cache und Flash Attention verhinderte. Die Versionshinweise machen keine Angaben zu möglichen Geschwindigkeitssteigerungen.