Oossa

llama.cpp krijgt GQA-ondersteuning en nieuwe tokenizerfuncties

De opensourcelibrary llama.cpp ondersteunt nu niet-standaard GQA-modellen en een BPE-tokenizer, en is beschikbaar voor meer platforms.

Kort berichtDoor Gepubliceerd door Oossa: 1 min lezen

Het ggml-org-team bracht op 2026-10-22 versie b11819 van llama.cpp uit. De update voegt ondersteuning toe voor niet-standaard GQA-modellen (grouped query attention) en een BPE-tokenizer (byte-pair encoding), plus een nieuw domyn-small pre-type. Ook is er nu ondersteuning voor metadata over Metaspace-prependschema’s. De lijst met builds omvat nu veel CPU- en GPU-platforms, waaronder Apple Silicon, CUDA 12/13, Vulkan, ROCm en Android Snapdragon.

Waarom het ertoe doet

Ontwikkelaars kunnen nu een breder scala aan LLM’s draaien, ook modellen met GQA, op meer apparaten zoals smartphones en GPU’s.

Was dit artikel nuttig?
Delen

Lees ook

Oossa · Nieuwsbrief

De AI-week, uitgelegd

Elke maandag: het nieuws dat ertoe doet, in gewone taal. Gratis, geen spam.