Il team ggml-org ha rilasciato llama.cpp b12031, che introduce il supporto iniziale a OpenCL per IQ3, due formati compatti per i pesi dei modelli. L’aggiornamento aggiunge operazioni per IQ3_S e IQ3_XXS, comprese operazioni su matrici e vettori, oltre a percorsi dedicati alle GPU Adreno di Qualcomm.
Le note di rilascio segnalano anche ottimizzazioni per la decodifica e il supporto a batch più piccoli su Adreno. Non riportano confronti di velocità, quindi non è specificato quale sia l’effetto pratico sulle prestazioni.
Perché conta
Gli sviluppatori che usano llama.cpp su GPU Adreno possono provare questi percorsi OpenCL con modelli IQ3, ma le note di rilascio non chiariscono se siano più veloci né quali dispositivi ne traggano maggior vantaggio.
