A equipe ggml‑org lançou a versão b12345 do llama.cpp. A atualização adiciona suporte à quantização Q5_0 e Q5_1, uma compressão de 5 bits que pode acelerar a inferência. Também inclui kernels dedicados para esses formatos em dispositivos Hexagon. Há binários pré-compilados para macOS com Apple Silicon, macOS com Intel, iOS e várias versões do Ubuntu, incluindo variantes apenas para CPU e com Vulkan.
Por que importa
Os desenvolvedores podem executar LLMs mais rapidamente em hardware de baixo consumo, ampliando a variedade de dispositivos capazes de hospedar modelos locais de IA.
