Das Team von ggml-org hat llama.cpp in Version b11406 veröffentlicht. Neu ist die WebGPU-Unterstützung für die MMVQ-Quantisierungspfade Q1_0, Q5_0, Q5_1, Q3_K, Q5_K, Q6_K und MXFP4. Außerdem enthält die Veröffentlichung vorgefertigte Binärdateien für macOS (Apple Silicon und Intel), iOS sowie mehrere Ubuntu-Varianten (CPU, Vulkan und CUDA).
Warum es wichtig ist
Entwickler können nun speichersparendere LLMs in Browsern oder auf GPUs mit WebGPU ausführen. Damit lässt sich llama.cpp an mehr Orten einsetzen.
