Het llama.cpp-project heeft op 2026-10-15 versie b11642 uitgebracht. De manier waarop de server slots in de promptcache opslaat, is aangepast. Alleen slots die later kunnen worden hersteld, worden bewaard. Inactieve slots voor rerank-, embedding-, decision- en infilltaken vullen de cache daardoor niet langer. Decision-taken slaan de cache nu helemaal over, tenzij de vlag --cache-ram wordt gebruikt. Dit verlaagt het RAM-gebruik en voorkomt onnodige cachewisselingen.
Waarom het ertoe doet
Ontwikkelaars die llama.cpp op hardware met beperkte capaciteit draaien, profiteren van een lager geheugengebruik en minder vertraging door de cache.
