Projektet llama.cpp har släppt en ny version med stöd för kvantisering i formaten Q1_0 och Q2_0 på Qualcomms Hexagon NPU. Uppdateringen finjusterar också tiling och vektoriserade skalärprodukter för att minska omkostnaderna. Den fungerar i Linux- och Windows-versioner för Snapdragon-processorer, Adreno-GPU:er och Hexagon-NPU:er, liksom på andra plattformar. Ändringarna beskrivs i utvecklarguiden och styrks av signaturer i versionsattesterna.
Varför det spelar roll
Utvecklare kan nu köra större språkmodeller på Snapdragon-baserade telefoner och surfplattor med lägre fördröjning och energiförbrukning.
