Het ggml-org-team heeft versie b11777 van llama.cpp uitgebracht. De update verandert de uitvoer van Qwen-modellen van een 3D- naar een 2D-tensor, zodat een overbodige laatste stap om de vorm aan te passen vervalt. De release bevat ook kant-en-klare binaries voor macOS (Apple Silicon en Intel), iOS en verschillende Ubuntu-versies, waaronder varianten met Vulkan en CUDA.
Waarom het ertoe doet
Ontwikkelaars kunnen de nieuwe binaries downloaden en lokale LLM’s op meer apparaten gebruiken zonder de software zelf te hoeven compileren.
