Das Team von ggml-org hat llama.cpp in Version b12124 veröffentlicht. Die Neuerung betrifft die OpenCL-Unterstützung: Das Programm kann jetzt Sigmoid-Operationen auf nicht zusammenhängenden Daten ausführen. OpenCL ist ein Framework, mit dem sich Rechenaufgaben auf verschiedenen Prozessoren ausführen lassen.
Auf der Release-Seite stehen außerdem vorgefertigte Downloads für macOS, iOS und Ubuntu, darunter CPU- und Vulkan-Builds. Weitere Leistungsverbesserungen werden nicht beschrieben, und es wird nicht angegeben, welche Nutzer einen Unterschied bemerken dürften.
Warum es wichtig ist
Entwickler, die llama.cpp mit OpenCL verwenden, können jetzt auf die neu unterstützte Operation zugreifen. Aus den Release-Hinweisen geht jedoch nicht hervor, ob sie die Geschwindigkeit verbessert oder sich im Alltag für Nutzer bemerkbar macht.
