Oossa

llama.cpp ganha novos kernels OpenCL para lotes pequenos

A biblioteca de inferência Llama de código aberto agora inclui várias versões otimizadas de GEMM em OpenCL para execuções com lotes pequenos, ampliando o suporte às GPUs Snapdragon.

NotaPor Publicado pelo Oossa: 1 min de leitura

O projeto ggml‑org/llama.cpp lançou uma atualização (b11763) em 2026‑10‑21. Ela adiciona alguns kernels OpenCL que aceleram multiplicações de matrizes com lotes pequenos, incluindo q4_k dp4a GEMM e uma variante estreita de mul_mm_f16_f32. As mudanças também corrigem um erro de leitura fora dos limites e removem uma proteção desnecessária que acionava a alternativa de execução na CPU. A biblioteca já funciona em muitas plataformas, do Apple Silicon no macOS ao CUDA no Windows e ao Vulkan no Linux, e agora oferece melhor suporte a CPUs Snapdragon, GPUs Adreno e NPUs Hexagon.

Por que importa

Desenvolvedores podem executar modelos Llama mais rapidamente em dispositivos Android com chips Snapdragon, tornando mais prática a IA no próprio aparelho.

Este artigo foi útil?
Compartilhar

Leia a seguir

Oossa · Newsletter

A semana em IA, explicada

Toda segunda-feira: as notícias que valem a pena, em linguagem simples. Grátis, sem spam.