Het llama.cpp-project heeft een nieuwe versie uitgebracht met Q1_0- en Q2_0-kwantisatie voor Qualcomms Hexagon NPU. De update past ook tiling en vector-dotbewerkingen aan om de overhead te verminderen. De versie werkt op Linux- en Windows-builds voor Snapdragon-processors, Adreno-gpu’s en Hexagon NPU’s, en op andere platforms. De wijzigingen zijn vastgelegd in de ontwikkelaarshandleiding en ondertekend in de release-attestaties.
Waarom het ertoe doet
Ontwikkelaars kunnen nu grotere taalmodellen met lagere latentie en een lager energieverbruik draaien op telefoons en tablets met Snapdragon-chips.
