Oossa

llama.cpp aggiunge il supporto a GQA e nuove funzioni per i tokenizer

La libreria open source llama.cpp ora supporta modelli GQA non standard e un tokenizer BPE, con build disponibili per più piattaforme.

BreveDi Pubblicato da Oossa: 1 min di lettura

Il team ggml-org ha rilasciato la versione b11819 di llama.cpp il 2026-10-22. L’aggiornamento aggiunge il supporto ai modelli GQA (grouped query attention) non standard e a un tokenizer BPE (byte-pair encoding), oltre a un nuovo pre-type domyn-small. Introduce anche la gestione dei metadati per gli schemi di prefisso Metaspace. La matrice delle build include ora numerose piattaforme CPU e GPU, tra cui Apple Silicon, CUDA 12/13, Vulkan, ROCm e Android Snapdragon.

Perché conta

Gli sviluppatori possono eseguire una gamma più ampia di LLM, compresi quelli che usano GQA, su più dispositivi, come smartphone e GPU.

Questo articolo ti è stato utile?
Condividi

Leggi anche

Oossa · Newsletter

La settimana dell'IA, spiegata

Ogni lunedì: le notizie che contano, in parole semplici. Gratis, niente spam.