L’équipe ggml-org a publié llama.cpp b12367, qui apporte une modification à CUDA : l’ajout de SASS SM103, autrement dit du code machine pour GPU, aux builds non natifs. Ceux-ci peuvent ainsi exécuter du code destiné au matériel SM103 sans avoir été compilés spécifiquement pour cette cible.
La version comprend également des builds téléchargeables pour macOS, iOS et plusieurs systèmes Linux. Les notes ne précisent pas quels GPU utilisent SM103 et ne fournissent aucun résultat de performance.
Pourquoi c'est important
Les personnes qui utilisent llama.cpp sur du matériel Nvidia ciblé par SM103 pourraient pouvoir utiliser des builds CUDA non natifs, mais les notes de version ne précisent pas les modèles de GPU concernés et ne mesurent aucun gain de vitesse.
