De release b12099 van het llama.cpp-project voegt eerste ondersteuning toe voor de Lightning Indexer-bewerking op Hexagon-hardware. De wijzigingen omvatten HMX-versnelling voor prefill en decode, plus ondersteuning voor q8_0 decode gathering en q4_0-invoer. Op de releasepagina staan Linux- en Android-builds voor Snapdragon-apparaten die gebruikmaken van de CPU, Adreno GPU en Hexagon NPU; ook zijn er links naar installatiehandleidingen.
Waarom het ertoe doet
Ontwikkelaars die llama.cpp op Snapdragon-apparaten gebruiken, kunnen het nieuwe Hexagon-pad uitproberen. De releaseopmerkingen bevatten echter geen prestatiecijfers of informatie over compatibele modellen.
