Het ggml-org-team heeft llama.cpp b11849 uitgebracht. De update voegt ondersteuning toe voor de SGN-operatie op Hexagon, de processorarchitectuur van Qualcomm. Volgens de release notes omvat de wijziging ook ondersteuning voor halfnauwkeurige berekeningen en een optimalisatie die het tekenbit gebruikt.
De release bevat ook builds voor macOS, iOS en Ubuntu, waaronder CPU-builds voor x64, arm64 en s390x. De release notes vermelden niet op welke apparaten of bij welke workloads dit in de praktijk voor meer snelheid of betere prestaties zorgt.
Waarom het ertoe doet
Ontwikkelaars die llama.cpp met Hexagon-hardware gebruiken, kunnen de nieuwe SGN-operatie inzetten. De release notes kwantificeren het effect op de modelprestaties echter niet.
