Oossa

llama.cpp b12549 corregge la gestione dell’attenzione per Inkling2

L’aggiornamento introduce per Inkling2 un input dedicato all’attenzione con posizioni relative e corregge il riuso delle maschere nei modelli a memoria ibrida, tra cui LFM2 e LFM3.

BreveDi Pubblicato da Oossa: 1 min di lettura

Il team ggml-org ha rilasciato llama.cpp b12549, con correzioni alla gestione delle maschere di attenzione per Inkling2, un modello supportato dal progetto. L’aggiornamento introduce per Inkling2 un input dedicato che costruisce la maschera di attenzione densa e il bias di posizione relativa a partire dalle stesse celle. Corregge inoltre la costruzione delle maschere nei modelli a memoria ibrida, che impediva il riuso del grafo con una cache unificata e flash attention; il problema riguardava LFM2, LFM3 e Inkling2. La nuova versione consente anche di impostare a zero la scala dei pesi degli esperti e il softcap dei logit finali di Inkling2.

Perché conta

Per chi esegue questi modelli a memoria ibrida in llama.cpp, le correzioni risolvono una condizione che impediva il riuso del grafo con una cache unificata e flash attention; le note di rilascio non quantificano eventuali miglioramenti di velocità.

Questo articolo ti è stato utile?
Condividi

Leggi anche

Oossa · Newsletter

La settimana dell'IA, spiegata

Ogni lunedì: le notizie che contano, in parole semplici. Gratis, niente spam.