Das Team von ggml-org hat am 17. Oktober 2026 llama.cpp in Version b11713 veröffentlicht. Das Update verbessert die CUDA-Leistung bei Low-Bit-Typen durch einen schnelleren MMVQ-Algorithmus. Außerdem enthält es eine kleine Fehlerbehebung für HIP-GPUs von AMD bei den Quantisierungen Q3_K und Q6_K. Vorab kompilierte Binärdateien für macOS, iOS und mehrere Ubuntu-Varianten (CPU, Vulkan, CUDA) stehen nun zum Download bereit.
Warum es wichtig ist
Entwickler können quantisierte LLMs auf NVIDIA-GPUs schneller ausführen und so die Inferenzkosten für lokale KI-Anwendungen senken.
