Het team van ggml-org heeft llama.cpp b12050 uitgebracht. De release bevat een wijziging voor Vulkan die de verwerking van kleine workloads op AMD-videokaarten met RDNA 3 en RDNA 4 moet verbeteren. De release notes bevatten geen benchmarkresultaten en geven niet aan hoeveel sneller de software hierdoor wordt.
Er zijn downloadbare builds voor macOS, iOS en verschillende Linux-platforms met CPU-ondersteuning.
Waarom het ertoe doet
Wie llama.cpp gebruikt op een gpu met RDNA 3 of RDNA 4, krijgt mogelijk een betere verwerking van kleine workloads. De release notes vermelden echter niet hoeveel de prestaties er in de praktijk op vooruitgaan.
