Il team ggml-org ha rilasciato llama.cpp b11849, aggiungendo il supporto all’operazione SGN per Hexagon, l’architettura di processori di Qualcomm. Le note di rilascio indicano che la modifica include il supporto alla precisione dimezzata e un’ottimizzazione che sfrutta il bit di segno.
La versione include anche build per macOS, iOS e Ubuntu, comprese build per CPU x64, arm64 e s390x. Le note non specificano quali dispositivi o carichi di lavoro potranno beneficiare di un miglioramento concreto in termini di velocità o prestazioni.
Perché conta
Gli sviluppatori che usano llama.cpp con hardware Hexagon possono sfruttare la nuova operazione SGN, ma le note di rilascio non quantificano l’effetto sulle prestazioni dei modelli.
