Die von ggml‑org gepflegte llama.cpp-Bibliothek hat am 13. Oktober 2026 Version b11597 veröffentlicht. Das Update ändert den Berechnungsgraphen: Wenn ein Kontext gepoolte Embeddings extrahiert, erstellt das Modell nicht mehr die umfangreiche Logits-Schicht des LM-Kopfs. Das senkt den Speicherbedarf und beschleunigt die Inferenz bei reinen Embedding-Aufgaben. Außerdem werden verwandte Graphknoten angepasst, damit die Formen konsistent bleiben.
Warum es wichtig ist
Entwickler, die Embeddings extrahieren, können llama.cpp-Modelle schneller und auf weniger leistungsfähiger Hardware ausführen.
