Das llama.cpp-Projekt hat am 2026-10-15 Version b11642 veröffentlicht. Damit ändert sich, wie der Server Slots im Prompt-Cache speichert. Gesichert werden nur noch Slots, die später wiederhergestellt werden können. Ungenutzte Slots für Reranking-, Embedding-, Entscheidungs- und Infill-Aufgaben belegen den Cache daher nicht mehr. Entscheidungsaufgaben umgehen den Cache nun vollständig, sofern nicht das Flag --cache-ram gesetzt ist. Das senkt den RAM-Verbrauch und verhindert unnötige Cache-Aktivität.
Warum es wichtig ist
Entwickler, die llama.cpp auf Geräten mit begrenztem Arbeitsspeicher ausführen, profitieren von einem geringeren Speicherverbrauch und weniger Verzögerungen durch den Cache.
