ggml-org heeft versie b11555 van llama.cpp uitgebracht. De update verhelpt een bug waardoor AVX2-processors de F16C-instructieset niet gebruikten, ook als die beschikbaar was. De release bevat ook nieuwe binaire pakketten voor macOS Apple Silicon, macOS Intel, iOS en verschillende Ubuntu-configuraties, waaronder versies met ondersteuning voor Vulkan en CUDA 12.8.
Waarom het ertoe doet
Ontwikkelaars die Llama-modellen draaien op compatibele processors krijgen sneller inferentie zonder handmatige patches.
