Projektet llama.cpp släppte version b11642 den 2026-10-15. Uppdateringen ändrar hur servern lagrar platser i promptcachen. Bara platser som kan återställas senare sparas, så inaktiva platser för uppgifter inom omrankning, inbäddningar, beslut och ifyllnad fyller inte längre cachen. Beslutsuppgifter hoppar nu över cachen helt, om inte flaggan --cache-ram används. Det minskar RAM-användningen och undviker onödig omsättning i cachen.
Varför det spelar roll
Utvecklare som kör llama.cpp på hårdvara med begränsade resurser får lägre minnesanvändning och färre prestandaproblem kopplade till cachen.
