Das ggml-org-Team hat llama.cpp b12367 mit einer CUDA-Änderung veröffentlicht: Nicht native Builds enthalten nun SM103-SASS, also Maschinencode für GPUs. Dadurch können diese Builds möglicherweise Code auf SM103-Hardware ausführen, ohne speziell für diese Zielarchitektur kompiliert worden zu sein.
Die Veröffentlichung umfasst außerdem herunterladbare Builds für macOS, iOS und mehrere Linux-Systeme. Aus den Hinweisen geht weder hervor, welche GPUs SM103 verwenden, noch enthalten sie Leistungswerte.
Warum es wichtig ist
Wer llama.cpp auf Nvidia-Hardware mit SM103 ausführt, kann möglicherweise nicht native CUDA-Builds nutzen. In den Versionshinweisen werden jedoch weder betroffene GPU-Modelle genannt noch Änderungen bei der Geschwindigkeit gemessen.
