Oossa

llama.cpp adiciona kernels OpenCL DP4A para modelos quantizados

A biblioteca de inferência de código aberto LLaMA agora oferece suporte a GEMM DP4A cooperative-k nos formatos q4_0, q4_k e q6_k.

NotaPor Publicado pelo Oossa: 1 min de leitura

O projeto ggml-org/llama.cpp lançou a versão b11741 em 2026-10-19. A atualização adiciona novos kernels OpenCL que usam instruções DP4A para acelerar multiplicações de matrizes em três formatos quantizados (q4_0, q4_k e q6_k). Também corrige um problema de alinhamento e inclui binários pré-compilados para macOS (Apple Silicon e Intel) e várias versões do Ubuntu, inclusive com suporte a Vulkan.

Por que importa

Desenvolvedores podem executar modelos LLaMA mais rapidamente em GPUs compatíveis com OpenCL, tornando a inferência local mais prática.

Este artigo foi útil?
Compartilhar

Leia a seguir

Oossa · Newsletter

A semana em IA, explicada

Toda segunda-feira: as notícias que valem a pena, em linguagem simples. Grátis, sem spam.