Le projet llama.cpp a publié la version b11642 le 2026-10-15. Celle-ci modifie la façon dont le serveur stocke les emplacements du cache de prompts. Seuls les emplacements pouvant être restaurés ultérieurement sont conservés : les emplacements inactifs associés aux tâches de reclassement, de génération d’embeddings, de décision et d’infill ne remplissent donc plus le cache. Les tâches de décision ignorent désormais entièrement le cache, sauf si l’option --cache-ram est utilisée. Cela réduit l’utilisation de la RAM et évite les rotations inutiles dans le cache.
Pourquoi c'est important
Les développeurs qui utilisent llama.cpp sur du matériel aux ressources limitées constateront une baisse de l’utilisation de la mémoire et moins de ralentissements liés au cache.
