Das llama.cpp-Projekt hat eine neue Version veröffentlicht, die Q1_0- und Q2_0-Quantisierung für Qualcomms Hexagon-NPU unterstützt. Außerdem wurden Kachelung und Vektor-Punktoperationen angepasst, um den Overhead zu verringern. Die Änderungen gelten für Linux- und Windows-Builds für Snapdragon-CPUs, Adreno-GPUs und Hexagon-NPUs sowie für weitere Plattformen. Sie sind im Entwicklerhandbuch dokumentiert und durch Release-Attestierungen signiert.
Warum es wichtig ist
Entwickler können nun größere Sprachmodelle mit geringerer Latenz und weniger Stromverbrauch auf Smartphones und Tablets mit Snapdragon-Chips ausführen.
