Teamet bakom ggml-org har publicerat llama.cpp version b11806. Uppdateringen lägger till LoRA-stöd för prism.hadamard-vikter som vikts ihop, en teknik för effektivare finjustering. Versionen innehåller också färdigbyggda binärer för Apple Silicon, Intel-Macar, iOS och flera Linux-varianter, däribland CPU-, Vulkan- och CUDA-versioner. Användare kan hämta rätt paket från GitHub-sidan för releasen.
Varför det spelar roll
Utvecklare kan nu köra LoRA-finjusterade modeller snabbare på fler plattformar utan att behöva bygga koden själva.
