Oossa

llama.cpp unterstützt OpenCL-Depthwise-Conv2d in b11827

Die Open-Source-Bibliothek llama.cpp ist in Version b11827 erschienen. Neu sind OpenCL-Kernels für Depthwise Convolution sowie Binärdateien für macOS, iOS und Linux.

KurzmeldungVon Von Oossa veröffentlicht: 1 Min. Lesezeit

Das ggml‑org-Team hat llama.cpp in Version b11827 veröffentlicht. Das Update ergänzt OpenCL-Kernels für Depthwise Conv2d, darunter Unterstützung für Qualcomm-Adreno-GPUs. Vorgefertigte Binärdateien sind jetzt für macOS mit Apple Silicon, macOS mit Intel-Prozessoren, iOS und mehrere Ubuntu-Plattformen (CPU und Vulkan) verfügbar. Die Änderungen stammen von OpenCode und dem Qualcomm-Ingenieur Li He.

Warum es wichtig ist

Entwickler können llama.cpp-Modelle nun schneller auf Geräten mit OpenCL-GPUs ausführen. Dadurch kommen weitere stromsparende Hardwareoptionen infrage.

War dieser Artikel hilfreich?
Teilen

Als Nächstes lesen

Oossa · Newsletter

Die KI-Woche, erklärt

Jeden Montag: die Nachrichten, die man kennen sollte – verständlich. Kostenlos, kein Spam.