ggml-org-teamet har släppt llama.cpp b12031 med inledande OpenCL-stöd för IQ3, två kompakta format för modellvikter. Uppdateringen lägger till operationer för IQ3_S och IQ3_XXS, bland annat matris- och vektoroperationer, samt särskilda lösningar för Adreno-GPU:er från Qualcomm.
Versionsinformationen beskriver också optimeringar för avkodning och stöd för mindre batchar på Adreno. Inga hastighetsjämförelser anges, så den praktiska prestandaförändringen är okänd.
Varför det spelar roll
Utvecklare som kör llama.cpp på Adreno-GPU:er kan prova dessa OpenCL-lösningar med IQ3-modeller, men versionsinformationen visar inte om de ger högre hastighet eller vilka enheter som har störst nytta av dem.
