Il progetto llama.cpp ha rilasciato una nuova versione che aggiunge la quantizzazione Q1_0 e Q2_0 per Hexagon NPU di Qualcomm. L’aggiornamento ottimizza anche il tiling e le operazioni di prodotto scalare vettoriale per ridurre l’overhead. È compatibile con le build per Linux e Windows destinate a CPU Snapdragon, GPU Adreno e NPU Hexagon, oltre che con altre piattaforme. Le modifiche sono documentate nella guida per sviluppatori e firmate nelle attestazioni della release.
Perché conta
Gli sviluppatori possono ora eseguire modelli linguistici più grandi su telefoni e tablet basati su Snapdragon, con latenza e consumi energetici inferiori.
