Il team ggml-org ha pubblicato llama.cpp b12367 con una modifica a CUDA: le build non native includono ora SASS SM103, ovvero codice macchina per GPU. Questo può consentire loro di eseguire codice predisposto per hardware SM103 senza essere compilate specificamente per quel target.
La versione include anche build scaricabili per macOS, iOS e diversi sistemi Linux. Le note non indicano quali GPU utilizzino SM103 né riportano risultati sulle prestazioni.
Perché conta
Chi usa llama.cpp su hardware Nvidia con target SM103 potrebbe riuscire a utilizzare build CUDA non native, ma le note di rilascio non specificano i modelli di GPU interessati né misurano eventuali variazioni di velocità.
