Het llama.cpp-project heeft prerelease b12173 uitgebracht. Deze versie voegt OpenCL-ondersteuning toe voor repeat-bewerkingen met de gegevenstypen f16, i32, i16 en bf16. Met OpenCL kunnen rekentaken worden uitgevoerd op ondersteunde processors en grafische hardware.
Op de releasepagina staan builds voor onder meer Linux, Windows, macOS, iOS en Android, met verschillende hardware- en acceleratoropties. Er staat niet bij welke apparaten of workloads het meest profiteren van deze wijziging.
Waarom het ertoe doet
Ontwikkelaars die llama.cpp met OpenCL gebruiken, kunnen repeat-bewerkingen mogelijk uitvoeren met deze vier gegevenstypen. De releasenotities vermelden echter niet voor welke apparaten dit in de praktijk ondersteuning toevoegt.
