Oossa

llama.cpp voegt gefuseerde top-k-maskerbewerking toe in b11800

De opensource-inferentiebibliotheek bevat nu een nieuwe gefuseerde bewerking voor QSA-masking, die de prestaties van bepaalde modellen verbetert.

Kort berichtDoor Gepubliceerd door Oossa: 1 min lezen

Het ggml-org-project llama.cpp heeft op 2026-10-21 versie b11800 uitgebracht. De update voegt een gefuseerde top-k-maskerbewerking toe (ggml_top_k_mask), die kan worden gebruikt door QSA-, DSA- en DeepSeek V4 CSA-modellen. Deze bewerking vervangt handgeschreven maskingcode door één node die niet-geselecteerde cellen op –inf zet. Ze werkt per head en ondersteunt optionele scores, blokgroottes en extra cellen.

Waarom het ertoe doet

Ontwikkelaars kunnen ondersteunde modellen sneller draaien doordat de bibliotheek masking nu in één geoptimaliseerde stap afhandelt.

Was dit artikel nuttig?
Delen

Lees ook

Oossa · Nieuwsbrief

De AI-week, uitgelegd

Elke maandag: het nieuws dat ertoe doet, in gewone taal. Gratis, geen spam.