Il team ggml-org ha rilasciato llama.cpp b12549, con correzioni alla gestione delle maschere di attenzione per Inkling2, un modello supportato dal progetto. L’aggiornamento introduce per Inkling2 un input dedicato che costruisce la maschera di attenzione densa e il bias di posizione relativa a partire dalle stesse celle. Corregge inoltre la costruzione delle maschere nei modelli a memoria ibrida, che impediva il riuso del grafo con una cache unificata e flash attention; il problema riguardava LFM2, LFM3 e Inkling2. La nuova versione consente anche di impostare a zero la scala dei pesi degli esperti e il softcap dei logit finali di Inkling2.
Perché conta
Per chi esegue questi modelli a memoria ibrida in llama.cpp, le correzioni risolvono una condizione che impediva il riuso del grafo con una cache unificata e flash attention; le note di rilascio non quantificano eventuali miglioramenti di velocità.