Oossa

llama.cpp mejora la gestión de la caché de prompts

La nueva versión permite que el servidor mantenga en RAM solo las entradas reutilizables, lo que reduce el uso innecesario de memoria en ciertos tipos de tareas.

BrevePor Publicado por Oossa: 1 min de lectura

El proyecto llama.cpp publicó la versión b11642 el 2026-10-15. Esta cambia la forma en que el servidor almacena las entradas de la caché de prompts. Solo se guardan las que pueden restaurarse más adelante, por lo que las entradas inactivas de tareas de reranking, embeddings, decisión y completado de código ya no ocupan espacio en la caché. Las tareas de decisión ahora omiten por completo la caché, salvo que se use la opción --cache-ram. Esto reduce el uso de RAM y evita movimientos innecesarios en la caché.

Por qué importa

Los desarrolladores que ejecuten llama.cpp en hardware limitado tendrán un menor uso de memoria y menos ralentizaciones relacionadas con la caché.

¿Te resultó útil este artículo?
Compartir

Sigue leyendo

Oossa · Boletín

La semana en IA, explicada

Cada lunes: las noticias que vale la pena conocer, en lenguaje sencillo. Gratis, sin spam.