ggml-org-teamet har släppt llama.cpp b12367 med en ändring i CUDA: SM103 SASS, det vill säga GPU-maskinkod, läggs till i byggen som inte är kompilerade specifikt för måltypen. Det kan göra att de byggena kör kod som förberetts för SM103-hårdvara, utan att själva ha kompilerats specifikt för den.
Versionen innehåller också nedladdningsbara byggen för macOS, iOS och flera Linux-system. I versionsinformationen anges inte vilka GPU:er som använder SM103 och det finns inga prestandamätningar.
Varför det spelar roll
Den som kör llama.cpp på Nvidia-hårdvara med SM103 kan eventuellt använda CUDA-byggen som inte är kompilerade specifikt för måltypen. Versionsinformationen anger dock inte vilka GPU-modeller som berörs eller om hastigheten förändras.
