Oossa

llama.cpp får stöd för GQA och nya tokeniseringsfunktioner

Det öppna biblioteket llama.cpp stöder nu modeller med ovanlig GQA och en BPE-tokeniserare, och kan byggas för fler plattformar.

NotisAv Publicerad av Oossa: 1 min läsning

Teamet ggml-org släppte version b11819 av llama.cpp den 2026-10-22. Uppdateringen lägger till stöd för modeller med ovanlig GQA (grouped query attention) och en BPE-tokeniserare (byte-pair encoding), samt en ny domyn-small pre-typ. Den lägger också till hantering av metadata för Metaspace-prefixscheman. Byggmatrisen omfattar nu många CPU- och GPU-mål, däribland Apple Silicon, CUDA 12/13, Vulkan, ROCm och Android Snapdragon.

Varför det spelar roll

Utvecklare kan nu köra ett bredare utbud av LLM:er, även sådana som använder GQA, på fler enheter, till exempel smarttelefoner och GPU:er.

Var den här artikeln användbar?
Dela

Läs vidare

Oossa · Nyhetsbrev

Veckans AI, förklarad

Varje måndag: nyheterna som är värda att känna till, på enkel svenska. Gratis, ingen spam.