Oossa

llama.cpp omite la cabeza LM al generar embeddings agrupados

La versión del 13 de octubre de 2026 introduce cambios en el grafo que evitan cálculos innecesarios de la cabeza LM cuando solo se necesitan embeddings agrupados.

BrevePor Publicado por Oossa: 1 min de lectura

La biblioteca llama.cpp, mantenida por ggml‑org, publicó la versión b11597 el 13 de octubre de 2026. La actualización modifica el grafo de cómputo para que, al extraer embeddings agrupados de un contexto, el modelo ya no construya la gran capa de logits de la cabeza LM. Esto reduce el uso de memoria y acelera la inferencia en tareas que solo requieren embeddings. El cambio también ajusta los nodos relacionados del grafo para mantener coherentes las dimensiones.

Por qué importa

Los desarrolladores que extraen embeddings pueden ejecutar modelos de llama.cpp más rápido y en equipos con menos recursos.

¿Te resultó útil este artículo?
Compartir

Sigue leyendo

Oossa · Boletín

La semana en IA, explicada

Cada lunes: las noticias que vale la pena conocer, en lenguaje sencillo. Gratis, sin spam.