La bibliothèque llama.cpp, maintenue par ggml‑org, a publié la version b11597 le 13 octobre 2026. Cette mise à jour modifie le graphe de calcul : lorsqu’un contexte extrait des embeddings groupés, le modèle ne construit plus la grande couche de logits de la tête LM. Cela réduit la consommation de mémoire et accélère l’inférence pour les tâches qui ne nécessitent que des embeddings. La modification ajuste aussi les nœuds associés du graphe afin de préserver la cohérence des dimensions.
Pourquoi c'est important
Les développeurs qui extraient des embeddings peuvent exécuter les modèles llama.cpp plus rapidement et sur du matériel moins puissant.
