Het ggml-org-team heeft llama.cpp versie b11710 uitgebracht, een nieuwe versie van de opensourcesoftware voor het draaien van taalmodellen. De genoemde wijziging voegt top-k-fusie van gegroepeerde experts toe voor CUDA, een platform voor berekeningen op grafische kaarten, en bevat tests en een aanpassing voor HIP.
Op de releasepagina staan downloads voor verschillende systemen, waaronder macOS, iOS en Linux. Er worden geen benchmarkresultaten vermeld en ook niet hoeveel invloed de wijziging heeft op de snelheid of het geheugengebruik.
Waarom het ertoe doet
Ontwikkelaars die CUDA gebruiken met modellen met gegroepeerde experts kunnen de nieuwe implementatie uitproberen. De release notes tonen echter niet aan of die in de praktijk betere prestaties oplevert.
