Oossa

llama.cpp unterstützt jetzt GQA-Modelle und weitere Tokenizer

Die Open-Source-Bibliothek llama.cpp unterstützt nun nicht standardisierte GQA-Modelle und einen BPE-Tokenizer. Außerdem gibt es Builds für mehr Plattformen.

KurzmeldungVon Von Oossa veröffentlicht: 1 Min. Lesezeit

Das ggml‑org-Team hat am 2026-10-22 Version b11819 von llama.cpp veröffentlicht. Das Update ergänzt die Unterstützung für nicht standardisierte GQA-Modelle (Grouped Query Attention) und einen BPE-Tokenizer (Byte-Pair-Encoding) sowie einen neuen domyn‑small-Pre-Type. Außerdem wird nun die Metadatenverarbeitung für Metaspace-Prepend-Schemata unterstützt. Die Build-Matrix umfasst jetzt zahlreiche CPU- und GPU-Ziele, darunter Apple Silicon, CUDA 12/13, Vulkan, ROCm und Android Snapdragon.

Warum es wichtig ist

Entwickler können nun eine größere Auswahl an LLMs – auch solche mit GQA – auf mehr Geräten ausführen, darunter Smartphones und GPUs.

War dieser Artikel hilfreich?
Teilen

Als Nächstes lesen

Oossa · Newsletter

Die KI-Woche, erklärt

Jeden Montag: die Nachrichten, die man kennen sollte – verständlich. Kostenlos, kein Spam.