Het ggml-org-team heeft llama.cpp versie b12124 uitgebracht. De update breidt de OpenCL-ondersteuning uit: sigmoid-bewerkingen op niet-aaneengesloten data worden nu ondersteund. OpenCL is een framework om rekentaken op verschillende processors uit te voeren.
Op de releasepagina staan ook kant-en-klare downloads voor macOS, iOS en Ubuntu, waaronder versies voor CPU en Vulkan. De release beschrijft geen bredere prestatieverbeteringen en vermeldt niet voor welke gebruikers het verschil merkbaar zal zijn.
Waarom het ertoe doet
Ontwikkelaars die llama.cpp met OpenCL gebruiken, kunnen nu deze bewerking uitvoeren. Uit de releasenotes blijkt echter niet of dit de snelheid verhoogt of gevolgen heeft voor dagelijks gebruik.
