Il progetto llama.cpp ha pubblicato la versione b11642 il 2026-10-15. La modifica riguarda il modo in cui il server conserva gli slot della cache dei prompt: vengono salvati solo quelli ripristinabili in seguito, così gli slot inattivi usati per attività di reranking, embedding, decisione e infill non occupano più spazio nella cache. Le attività di decisione ora non usano affatto la cache, a meno che non venga specificato il flag --cache-ram. Questo riduce l’uso della RAM ed evita un ricambio superfluo della cache.
Perché conta
Gli sviluppatori che eseguono llama.cpp su hardware con risorse limitate noteranno un minore uso della memoria e meno rallentamenti legati alla cache.
