Das Team von ggml-org hat llama.cpp b11849 veröffentlicht und damit die Unterstützung der SGN-Operation auf Hexagon, der Prozessorarchitektur von Qualcomm, ergänzt. Laut den Release Notes umfasst die Änderung auch Unterstützung für halbe Genauigkeit sowie eine Optimierung, die das Vorzeichenbit nutzt.
Das Release bietet außerdem Builds für macOS, iOS und Ubuntu, darunter CPU-Builds für x64, arm64 und s390x. Aus den Release Notes geht nicht hervor, bei welchen Geräten oder Workloads sich die Änderung praktisch auf Geschwindigkeit oder Leistung auswirkt.
Warum es wichtig ist
Entwickler, die llama.cpp mit Hexagon-Hardware einsetzen, können die neue SGN-Operation nutzen. Die Release Notes beziffern jedoch nicht, wie sie sich auf die Modellleistung auswirkt.
