Das Team von ggml‑org hat llama.cpp in Version b11789 veröffentlicht. Das Update ergänzt dp4a-GEMM-Varianten (Matrixmultiplikation) für OpenCL, die Aktivierungsdaten vektoriell laden, und benennt zugehörige Kernels und Umgebungsvariablen um. Fertig kompilierte Binärdateien gibt es nun für Apple Silicon, Intel-macOS, iOS und mehrere Ubuntu-Versionen (CPU, Vulkan, CUDA). Die Änderungen sollen die Leistung auf GPUs verbessern, die den dp4a-Befehl unterstützen.
Warum es wichtig ist
Entwickler können llama.cpp auf kompatiblen GPUs schneller ausführen und so die Inferenzzeit für lokale LLM-Anwendungen verkürzen.
