Das ggml‑org-Team hat llama.cpp in Version b11685 veröffentlicht. Neu ist eine SYCL-Optimierung namens Wide Stores für die Dequantisierung der Gewichte q4_K und q5_K. Das Release enthält vorgefertigte Binärdateien für macOS auf Apple Silicon und Intel-Macs, iOS sowie verschiedene Ubuntu-Versionen (CPU, Vulkan und CUDA 12.8). Die Änderung soll die Inferenz quantisierter Modelle auf SYCL-kompatiblen GPUs beschleunigen.
Warum es wichtig ist
Entwickler können quantisierte LLMs auf SYCL-GPUs schneller ausführen. Das erweitert die Auswahl günstiger Hardware für KI-Anwendungen.
