Oossa

llama.cpp introduce un’operazione top‑k mask fusa con la versione b11800

La libreria open source per l’inferenza ora include una nuova operazione fusa per il masking QSA, che migliora le prestazioni di alcuni modelli.

BreveDi Pubblicato da Oossa: 1 min di lettura

Il progetto ggml‑org llama.cpp ha pubblicato la versione b11800 il 2026-10-21. L’aggiornamento introduce un’operazione top‑k mask fusa (ggml_top_k_mask), utilizzabile dai modelli QSA, DSA e DeepSeek V4 CSA. L’operazione sostituisce il codice di masking scritto su misura con un singolo nodo che imposta a –inf le celle non selezionate. Funziona per ogni head e può gestire punteggi facoltativi, dimensioni dei blocchi e celle aggiuntive.

Perché conta

Gli sviluppatori possono eseguire più velocemente i modelli supportati, perché la libreria gestisce il masking in un’unica operazione ottimizzata.

Questo articolo ti è stato utile?
Condividi

Leggi anche

Oossa · Newsletter

La settimana dell'IA, spiegata

Ogni lunedì: le notizie che contano, in parole semplici. Gratis, niente spam.