Biblioteket llama.cpp, som underhålls av ggml-org, släppte version b11597 den 13 oktober 2026. Uppdateringen ändrar beräkningsgrafen så att modellen inte längre bygger det stora logitlagret i LM-huvudet när ett sammanhang tar fram poolade inbäddningar. Det minskar minnesanvändningen och snabbar upp inferensen för uppgifter som bara kräver inbäddningar. Ändringen justerar också tillhörande noder i grafen för att bevara samma form.
Varför det spelar roll
Utvecklare som tar fram inbäddningar kan köra llama.cpp-modeller snabbare och på mindre kraftfull hårdvara.
