ggml-org-teamet har släppt llama.cpp version b12329. Uppdateringen innehåller en CUDA-optimering som integrerar hanteringen av viktskalor i skrivningar vid matrismultiplikation, vilket snabbar upp nvfp4-kontrollpunkter. Den innehåller också nya färdigbyggda binärer för Apple Silicon, Intel-baserade Mac-datorer, iOS och flera Linux-varianter. Ändringarna kan laddas ner från versionssidan på GitHub.
Varför det spelar roll
Utvecklare kan köra Llama-modeller snabbare på NVIDIA-GPU:er och få färdigbyggda binärer för fler plattformar.
