Het ggml-org-team heeft llama.cpp b12367 uitgebracht, met een wijziging voor CUDA: de release voegt SM103 SASS — oftewel machinecode voor GPU’s — toe aan builds die niet specifiek voor die GPU zijn gecompileerd. Daardoor kunnen die builds mogelijk code uitvoeren die is voorbereid voor SM103-hardware, zonder dat ze specifiek voor die GPU zijn gebouwd.
De release bevat ook downloads voor macOS, iOS en verschillende Linux-systemen. In de release-opmerkingen staat niet welke GPU’s SM103 gebruiken en worden geen prestatieresultaten vermeld.
Waarom het ertoe doet
Wie llama.cpp gebruikt op Nvidia-hardware met SM103 kan mogelijk niet-specifieke CUDA-builds gebruiken. De release-opmerkingen vermelden echter niet om welke GPU-modellen het gaat en geven geen meting van een eventuele snelheidsverandering.
