Oossa

llama.cpp ergänzt in Version b11800 eine Fused-Top-k-Maskierung

Die Open-Source-Inferenzbibliothek bietet jetzt eine neue Fused-Operation für QSA-Maskierung, die bei bestimmten Modellen die Leistung verbessert.

KurzmeldungVon Von Oossa veröffentlicht: 1 Min. Lesezeit

Das Projekt ggml-org llama.cpp hat am 2026-10-21 Version b11800 veröffentlicht. Das Update ergänzt eine Fused-Top-k-Maskierungsoperation (ggml_top_k_mask), die von QSA-, DSA- und DeepSeek-V4-CSA-Modellen genutzt werden kann. Die Operation ersetzt handgeschriebenen Maskierungscode durch einen einzelnen Knoten, der nicht ausgewählte Zellen auf –inf setzt. Sie arbeitet pro Head und unterstützt optionale Scores, Blockgrößen und zusätzliche Zellen.

Warum es wichtig ist

Entwickler können unterstützte Modelle schneller ausführen, weil die Bibliothek die Maskierung nun in einem optimierten Schritt übernimmt.

War dieser Artikel hilfreich?
Teilen

Als Nächstes lesen

Oossa · Newsletter

Die KI-Woche, erklärt

Jeden Montag: die Nachrichten, die man kennen sollte – verständlich. Kostenlos, kein Spam.