Oossa

llama.cpp adiciona atenção flash esparsa via Vulkan para K/V quantizados

O runtime de LLM de código aberto agora oferece um modo de atenção flash esparsa baseado em Vulkan para dados K/V quantizados.

NotaPor Publicado pelo Oossa: 1 min de leitura

A equipe ggml-org lançou a versão b11413 do llama.cpp em 5 de outubro de 2026. A atualização adiciona uma implementação via Vulkan de atenção flash esparsa compatível com tensores de chave/valor quantizados. A novidade é descrita como «atenção flash esparsa para K/V quantizados» e é voltada à inferência acelerada por GPU. A versão também inclui diversas compilações para diferentes plataformas, do Apple Silicon no macOS ao CUDA e Vulkan no Windows.

Por que importa

Desenvolvedores podem executar modelos quantizados com mais rapidez em GPUs compatíveis com Vulkan, reduzindo o custo computacional em dispositivos de borda.

Este artigo foi útil?
Compartilhar

Leia a seguir

Oossa · Newsletter

A semana em IA, explicada

Toda segunda-feira: as notícias que valem a pena, em linguagem simples. Grátis, sem spam.