De llama.cpp-bibliotheek (onderhouden door ggml-org) bracht op 13 okt 2026 versie b11597 uit. De update past de rekeningsgrafiek aan, zodat het model niet langer de grote logitlaag van de LM-head opbouwt wanneer een context gepoolde embeddings ophaalt. Dit verlaagt het geheugengebruik en versnelt inferentie voor taken waarbij alleen embeddings nodig zijn. Ook worden verwante knooppunten in de grafiek aangepast om de vorm consistent te houden.
Waarom het ertoe doet
Ontwikkelaars die embeddings ophalen, kunnen llama.cpp-modellen sneller en op minder krachtige hardware uitvoeren.
