Oossa

llama.cpp får sammanslagen top‑k-maskering i version b11800

Det öppna inferensbiblioteket får en ny sammanslagen operation för QSA-maskering, vilket förbättrar prestandan för vissa modeller.

NotisAv Publicerad av Oossa: 1 min läsning

Projektet ggml‑org llama.cpp släppte version b11800 den 2026-10-21. Uppdateringen lägger till en sammanslagen top‑k-maskeringsoperation (ggml_top_k_mask) som kan användas av modellerna QSA, DSA och DeepSeek V4 CSA. Operationen ersätter handskriven maskeringskod med en enda nod som sätter celler som inte valts till –inf. Den fungerar per huvud och kan hantera valfria poäng, blockstorlekar och extra celler.

Varför det spelar roll

Utvecklare kan köra modeller som stöds snabbare eftersom biblioteket nu hanterar maskeringen i ett enda optimerat steg.

Var den här artikeln användbar?
Dela

Läs vidare

Oossa · Nyhetsbrev

Veckans AI, förklarad

Varje måndag: nyheterna som är värda att känna till, på enkel svenska. Gratis, ingen spam.