La release b12099 del progetto llama.cpp introduce il supporto iniziale all’operazione Lightning Indexer sull’hardware Hexagon. Le modifiche includono percorsi con accelerazione HMX per prefill e decode, oltre al supporto per il gathering in decode con q8_0 e per gli input q4_0. La pagina della release elenca build per Linux e Android sui dispositivi Snapdragon che usano CPU, GPU Adreno e NPU Hexagon; include inoltre link alle guide di configurazione.
Perché conta
Gli sviluppatori che usano llama.cpp sui dispositivi Snapdragon possono provare il nuovo percorso Hexagon, anche se le note di rilascio non riportano dati sulle prestazioni né dettagli sulla compatibilità dei modelli.
