A biblioteca de código aberto llama.cpp lançou uma nova versão em 2026-10-18, com suporte a SUM não contíguo. A mudança funciona nos backends de CPU, CUDA, Vulkan e WebGPU, e a suíte de testes agora inclui casos para essas visualizações. A atualização também amplia a lista de binários pré-compilados para macOS, Linux, Android e Windows, com suporte a diversas combinações de hardware, como Apple Silicon, Intel, AMD, NVIDIA CUDA 12/13 e Snapdragon NPU. O site do projeto e as atestações estão disponíveis nos links para download.
Por que importa
Desenvolvedores agora podem executar somas mais rápidas e eficientes em memória em uma variedade maior de dispositivos, melhorando o desempenho de pipelines de inferência de LLMs.
