Das Team von ggml-org hat llama.cpp in Version b11806 veröffentlicht. Die neue Version unterstützt LoRA für gefaltete prism.hadamard-Gewichte – eine Technik, die das Fine-Tuning effizienter macht. Außerdem gibt es vorgefertigte Binärpakete für Apple Silicon, Intel-Macs und iOS sowie verschiedene Linux-Versionen, darunter Varianten für CPU, Vulkan und CUDA. Das passende Paket lässt sich von der GitHub-Release-Seite herunterladen.
Warum es wichtig ist
Entwickler können LoRA-feinabgestimmte Modelle nun auf mehr Plattformen schneller ausführen, ohne den Code selbst kompilieren zu müssen.
