Oossa

llama.cpp reduce a la mitad la memoria del indexador

La versión b11372 modifica el indexador de Qwen4exp para usar mucha menos RAM, sin perder velocidad, en ejecuciones con contextos largos.

BreveOossaPublicado por Oossa: 1 min de lectura

El proyecto ggml‑org/llama.cpp publicó la versión b11372 el Oct 3 2026. La actualización reescribe el indexador de Qwen4exp para que cada cabeza calcule su puntuación por separado y escriba los resultados directamente. Así, reduce a la mitad la memoria necesaria para los búferes de puntuación del indexador, que eran los que más memoria consumían en los gráficos de contextos largos. El cambio no afecta la velocidad de cálculo y también añade compatibilidad con el nuevo indexador lightning en los backends CUDA, Metal y Vulkan.

Por qué importa

Los desarrolladores que ejecutan modelos de lenguaje grandes con contextos largos podrán procesar indicaciones más extensas con el mismo hardware.

¿Te resultó útil este artículo?
Compartir

Sigue leyendo

Oossa · Boletín

La semana en IA, explicada

Cada lunes: las noticias que vale la pena conocer, en lenguaje sencillo. Gratis, sin spam.