Oossa

llama.cpp erhält Flash-Attention-Operation

Die Open-Source-Bibliothek llama.cpp unterstützt jetzt über ggml‑zdnn eine Flash-Attention-Operation. Die Neuerung wurde am 20. Okt. 2026 angekündigt.

KurzmeldungVon Von Oossa veröffentlicht: 1 Min. Lesezeit

Das ggml‑org-Team hat am 20. Okt. 2026 llama.cpp in Version b11759 veröffentlicht. Das Update ergänzt eine Flash-Attention-Operation (fattn) für das ggml‑zdnn-Backend und ersetzt Scratch-Slots durch einen Scratch-Buffer-Pool. Die Änderung wurde vom Contributor Aaron Teo freigegeben. Flash Attention beschleunigt die Attention-Berechnung, die große Sprachmodelle verwenden.

Warum es wichtig ist

Flash Attention kann die Inferenzzeit für Nutzer verkürzen, die llama.cpp lokal ausführen, sodass sich Chat-Modelle schneller anfühlen.

War dieser Artikel hilfreich?
Teilen

Als Nächstes lesen

Oossa · Newsletter

Die KI-Woche, erklärt

Jeden Montag: die Nachrichten, die man kennen sollte – verständlich. Kostenlos, kein Spam.