Oossa

llama.cpp introduce nuovi formati di quantizzazione WebGPU in b11406

La libreria open source llama.cpp supporta ora diversi nuovi formati a bassa precisione su WebGPU. Sono disponibili binari per macOS, Linux e iOS.

BreveDi Pubblicato da Oossa: 1 min di lettura

Il team ggml-org ha pubblicato la versione b11406 di llama.cpp. L’aggiornamento aggiunge il supporto WebGPU ai percorsi di quantizzazione MMVQ Q1_0, Q5_0, Q5_1, Q3_K, Q5_K, Q6_K e MXFP4. La release include anche binari precompilati per macOS (Apple Silicon e Intel), iOS e diverse build di Ubuntu (CPU, Vulkan e CUDA).

Perché conta

Gli sviluppatori possono ora eseguire più modelli linguistici di grandi dimensioni con un uso più efficiente della memoria nei browser o su GPU compatibili con WebGPU, ampliando le possibilità di distribuzione di llama.cpp.

Questo articolo ti è stato utile?
Condividi

Leggi anche

Oossa · Newsletter

La settimana dell'IA, spiegata

Ogni lunedì: le notizie che contano, in parole semplici. Gratis, niente spam.