Oossa

llama.cpp b12549 verbessert Attention für Inkling2

Das Update ergänzt für Inkling2 einen eigenen Attention-Eingang für relative Positionen und behebt die Maskenwiederverwendung bei Hybrid-Memory-Modellen wie LFM2 und LFM3.

KurzmeldungVon Von Oossa veröffentlicht: 1 Min. Lesezeit

Das ggml-org-Team hat llama.cpp b12549 mit Korrekturen bei der Verarbeitung von Attention-Masken für Inkling2 veröffentlicht, ein vom Projekt unterstütztes Modell. Das Update ergänzt für Inkling2 einen eigenen Eingang, der die dichte Attention-Maske und den Bias für relative Positionen aus denselben Zellen erstellt. Außerdem wird die Erstellung von Masken für Hybrid-Memory-Modelle korrigiert, die die Wiederverwendung des Rechengraphen mit einem einheitlichen Cache und Flash Attention verhindert hatte. Betroffen sind LFM2, LFM3 und Inkling2. Das Update erlaubt zudem, den Skalierungsfaktor für die Expert-Gewichte und den Softcap der finalen Logits von Inkling2 auf null zu setzen.

Warum es wichtig ist

Für alle, die diese Hybrid-Memory-Modelle mit llama.cpp ausführen, beheben die Korrekturen einen Fehler, der die Wiederverwendung des Rechengraphen mit einem einheitlichen Cache und Flash Attention verhinderte. Die Versionshinweise machen keine Angaben zu möglichen Geschwindigkeitssteigerungen.

War dieser Artikel hilfreich?
Teilen

Als Nächstes lesen

Oossa · Newsletter

Die KI-Woche, erklärt

Jeden Montag: die Nachrichten, die man kennen sollte – verständlich. Kostenlos, kein Spam.