Oossa

llama.cpp accelera i modelli quantizzati con kernel OpenCL DP4A

La libreria open source per l’inferenza di LLaMA ora supporta GEMM DP4A con cooperative-k nei formati q4_0, q4_k e q6_k.

BreveDi Pubblicato da Oossa: 1 min di lettura

Il progetto ggml‑org/llama.cpp ha pubblicato la versione b11741 il 2026‑10‑19. Include nuovi kernel OpenCL che sfruttano le istruzioni DP4A per accelerare le moltiplicazioni di matrici in tre formati quantizzati (q4_0, q4_k, q6_k). L’aggiornamento risolve anche un problema di allineamento e include binari precompilati per macOS (Apple Silicon e Intel) e diverse versioni di Ubuntu, comprese le build Vulkan.

Perché conta

Gli sviluppatori possono eseguire più velocemente i modelli LLaMA sulle GPU compatibili con OpenCL, rendendo più praticabile l’inferenza in locale.

Questo articolo ti è stato utile?
Condividi

Leggi anche

Oossa · Newsletter

La settimana dell'IA, spiegata

Ogni lunedì: le notizie che contano, in parole semplici. Gratis, niente spam.