Das Projekt ggml‑org/llama.cpp hat am 2026‑10‑21 ein Update (b11763) veröffentlicht. Es enthält mehrere OpenCL-Kernels, die Matrixmultiplikationen mit kleinen Batches beschleunigen, darunter q4_k dp4a GEMM und eine schmale Variante von mul_mm_f16_f32. Außerdem behebt das Update einen Fehler, der zu einem Lesezugriff außerhalb des zulässigen Speicherbereichs führte, und entfernt eine unnötige Schutzabfrage für den CPU-Fallback. Die Bibliothek läuft bereits auf vielen Plattformen – von Apple Silicon unter macOS bis hin zu CUDA unter Windows und Vulkan unter Linux – und unterstützt nun auch Snapdragon-CPUs, Adreno-GPUs und Hexagon-NPUs besser.
Warum es wichtig ist
Entwickler können Llama-Modelle auf Android-Geräten mit Snapdragon-Chips schneller ausführen. So wird KI direkt auf dem Gerät praktischer.
