La libreria llama.cpp, mantenuta da ggml-org, ha rilasciato la versione b11597 il 13 ottobre 2026. L’aggiornamento modifica il grafo di calcolo: quando un contesto estrae embedding pooled, il modello non costruisce più il grande livello di logits della testa LM. Questo riduce l’uso della memoria e accelera l’inferenza per le attività che richiedono solo embedding. La modifica aggiorna anche i nodi correlati del grafo per mantenere coerenti le dimensioni.
Perché conta
Gli sviluppatori che estraggono embedding possono eseguire i modelli llama.cpp più velocemente e su hardware meno potente.
