Het team van ggml-org heeft llama.cpp b12031 uitgebracht, met de eerste OpenCL-ondersteuning voor IQ3, twee compacte formaten voor modelgewichten. De update voegt bewerkingen toe voor IQ3_S en IQ3_XXS, waaronder matrix- en vectorbewerkingen, plus specifieke codepaden voor Adreno-GPU’s van Qualcomm.
De release notes vermelden ook optimalisaties voor het decoderen en ondersteuning voor kleinere batches op Adreno. Er staan geen snelheidsvergelijkingen in, dus het praktische prestatieverschil is niet bekend.
Waarom het ertoe doet
Ontwikkelaars die llama.cpp op Adreno-GPU’s draaien, kunnen deze OpenCL-codepaden met IQ3-modellen uitproberen. De release notes maken echter niet duidelijk of ze sneller werken of welke apparaten er het meest baat bij hebben.
