Projektet llama.cpp har släppt b12099, som ger ett första stöd för Lightning Indexer på Hexagon-hårdvara. Ändringarna omfattar HMX-acceleration för prefill och decode samt stöd för q8_0-samling vid decode och q4_0-indata. På versionssidan finns Linux- och Android-byggen för Snapdragon-enheter som använder CPU:n, Adreno-GPU:n och Hexagon-NPU:n. Där finns också länkar till installationsguider.
Varför det spelar roll
Utvecklare som använder llama.cpp på Snapdragon-enheter kan prova den nya Hexagon-vägen, men versionsinformationen innehåller inga prestandasiffror eller uppgifter om modellkompatibilitet.
