# llama.cpp ergänzt OpenCL-Kernels für kleine Batches

> Die Open-Source-Inferenzbibliothek Llama unterstützt nun mehrere optimierte OpenCL-GEMM-Varianten für Läufe mit kleinen Batches und erweitert damit die Unterstützung für Snapdragon-GPUs.

Oossa · 2026-10-20 · https://oossa.com/de/llama-cpp-adds-new-opencl-kernels-for-small-batch-workloads

Das Projekt ggml‑org/llama.cpp hat am 2026‑10‑21 ein Update (b11763) veröffentlicht. Es enthält mehrere OpenCL-Kernels, die Matrixmultiplikationen mit kleinen Batches beschleunigen, darunter q4_k dp4a GEMM und eine schmale Variante von mul_mm_f16_f32. Außerdem behebt das Update einen Fehler, der zu einem Lesezugriff außerhalb des zulässigen Speicherbereichs führte, und entfernt eine unnötige Schutzabfrage für den CPU-Fallback. Die Bibliothek läuft bereits auf vielen Plattformen – von Apple Silicon unter macOS bis hin zu CUDA unter Windows und Vulkan unter Linux – und unterstützt nun auch Snapdragon-CPUs, Adreno-GPUs und Hexagon-NPUs besser.

## Die Fakten

- Mehrere OpenCL-GEMM-Varianten für kleine Batches hinzugefügt (z. B. q4_k dp4a und mul_mm_f16_f32).
- Veröffentlichungsdatum: 2026‑10‑21.

## Warum es wichtig ist

Entwickler können Llama-Modelle auf Android-Geräten mit Snapdragon-Chips schneller ausführen. So wird KI direkt auf dem Gerät praktischer.

## Quellen und Referenzen

1. [ggml-org/llama.cpp b11763](https://github.com/ggml-org/llama.cpp/releases/tag/b11763) – llama.cpp, 2026-10-20

Zuletzt aktualisiert: 2026-10-20