Il team di ggml-org ha rilasciato llama.cpp b11345, aggiungendo il supporto ai tipi di quantizzazione q2_k e q3_k su Hexagon. La quantizzazione consente di memorizzare i dati dei modelli usando meno bit; le note di rilascio non indicano quali dispositivi o modelli ne traggano vantaggio, né descrivono eventuali cambiamenti nelle prestazioni.
La release include anche download per macOS, iOS e diverse configurazioni Linux, comprese le build per CPU e Vulkan.
Perché conta
Chi usa llama.cpp su hardware Hexagon supportato potrebbe poter eseguire modelli con quantizzazione q2_k o q3_k, ma le note di rilascio non specificano la compatibilità con i dispositivi né gli effetti sulle prestazioni.
