Das llama.cpp-Projekt hat die Vorabversion b12173 veröffentlicht. Sie ergänzt OpenCL-Unterstützung für Repeat-Operationen mit den Datentypen f16, i32, i16 und bf16. Mit OpenCL lassen sich Rechenaufgaben auf unterstützten Prozessoren und Grafikchips ausführen.
Auf der Release-Seite sind Builds für Plattformen wie Linux, Windows, macOS, iOS und Android aufgeführt, dazu verschiedene Hardware- und Beschleunigeroptionen. Welche Geräte oder Arbeitslasten am meisten von der Änderung profitieren, wird nicht angegeben.
Warum es wichtig ist
Entwickler, die llama.cpp mit OpenCL nutzen, können Repeat-Operationen möglicherweise mit diesen vier Datentypen ausführen. Aus den Release Notes geht jedoch nicht hervor, welche Geräte in der Praxis unterstützt werden.
