Oossa

llama.cpp ganha suporte a GQA e novos recursos de tokenização

A biblioteca de código aberto llama.cpp passa a aceitar modelos GQA não convencionais e um tokenizador BPE, além de ampliar as plataformas compatíveis.

NotaPor Publicado pelo Oossa: 1 min de leitura

A equipe ggml-org lançou a versão b11819 do llama.cpp em 2026-10-22. A atualização adiciona suporte a modelos GQA (atenção por consultas agrupadas) não convencionais e a um tokenizador BPE (codificação por pares de bytes), além de um novo pré-tipo domyn-small. Também inclui suporte a metadados para esquemas de prefixo Metaspace. A matriz de compilações agora lista vários alvos de CPU e GPU, incluindo Apple Silicon, CUDA 12/13, Vulkan, ROCm e Android Snapdragon.

Por que importa

Os desenvolvedores agora podem executar uma gama maior de LLMs, inclusive os que usam GQA, em mais dispositivos, como smartphones e GPUs.

Este artigo foi útil?
Compartilhar

Leia a seguir

Oossa · Newsletter

A semana em IA, explicada

Toda segunda-feira: as notícias que valem a pena, em linguagem simples. Grátis, sem spam.