Das Team von ggml-org hat llama.cpp in Version b12345 veröffentlicht. Das Update unterstützt die Quantisierungsformate Q5_0 und Q5_1. Die 5-Bit-Komprimierung kann die Inferenz beschleunigen. Außerdem enthält das Update spezielle Kernel für diese Formate auf Hexagon-Geräten. Fertige Binärdateien stehen für macOS auf Apple Silicon und Intel, iOS sowie mehrere Ubuntu-Varianten bereit – darunter Versionen, die nur die CPU nutzen, und solche mit Vulkan-Unterstützung.
Warum es wichtig ist
Entwickler können LLMs auf stromsparender Hardware schneller ausführen. So kommen mehr Geräte für den lokalen Betrieb von KI-Modellen infrage.
