Il progetto ggml‑org/llama.cpp ha pubblicato la versione b12328 il 2026-11-12. L’aggiornamento modifica il backend, che ora esegue il prefetch solo degli input calcolati negli split precedenti, evitando di leggere tensori che verranno sovrascritti in seguito. Aggiunge inoltre un controllo per saltare la cache MoE (mixture‑of‑experts) quando il dispositivo in uso non è in grado di eseguire l’operazione memorizzata nella cache, evitando copie di dati non necessarie.
Perché conta
Gli sviluppatori possono aspettarsi un minore traffico di memoria e inferenze più rapide sull’hardware che non è in grado di gestire carichi di lavoro MoE.
