Das Team von ggml-org hat llama.cpp b12031 mit erster OpenCL-Unterstützung für IQ3 veröffentlicht, zwei kompakte Formate für Modellgewichte. Das Update ergänzt Operationen für IQ3_S und IQ3_XXS, darunter Matrix- und Vektoroperationen sowie speziell auf Adreno-GPUs von Qualcomm zugeschnittene Pfade.
Laut den Versionshinweisen gibt es außerdem Optimierungen für das Decoding und Unterstützung für kleinere Batches auf Adreno-GPUs. Geschwindigkeitsvergleiche fehlen, daher ist nicht angegeben, wie sich die Leistung in der Praxis verändert.
Warum es wichtig ist
Entwickler, die llama.cpp auf Adreno-GPUs einsetzen, können diese OpenCL-Pfade mit IQ3-Modellen ausprobieren. Die Versionshinweise belegen jedoch nicht, ob sie schneller laufen oder welche Geräte am meisten davon profitieren.
