ggml-org-teamet har släppt llama.cpp version b11710, en ny version av sin programvara med öppen källkod för att köra språkmodeller. Den angivna ändringen lägger till top-k-fusion för grupperade experter i CUDA, en plattform för beräkningar på grafikkort, samt tester och en HIP-relaterad justering.
På releasesidan finns nedladdningar för flera system, bland annat macOS, iOS och Linux. Där redovisas inga benchmarkresultat och det framgår inte hur mycket ändringen påverkar hastigheten eller minnesanvändningen.
Varför det spelar roll
Utvecklare som använder CUDA med modeller med grupperade experter kan prova den nya implementationen, men versionsinformationen visar inte om den faktiskt förbättrar prestandan.
