A equipe ggml-org publicou a versão b11685 do llama.cpp. Ela inclui uma otimização SYCL chamada wide stores para a desquantização dos pesos q4_K e q5_K. O lançamento traz binários pré-compilados para macOS com Apple Silicon, macOS com Intel, iOS e diversas versões do Ubuntu (CPU, Vulkan e CUDA 12.8). A mudança busca acelerar a inferência de modelos quantizados em GPUs compatíveis com SYCL.
Por que importa
Desenvolvedores podem executar LLMs quantizados mais rapidamente em GPUs SYCL, ampliando as opções de hardware acessível para aplicativos de IA.
