Das Team von ggml-org hat llama.cpp b11345 veröffentlicht. Die Version ergänzt auf Hexagon die Unterstützung für die Quantisierungstypen q2_k und q3_k. Bei der Quantisierung werden Modelldaten mit weniger Bits gespeichert. In den Versionshinweisen steht weder, welche Geräte oder Modelle davon profitieren, noch werden Änderungen bei der Leistung beschrieben.
Außerdem gibt es Downloads für macOS, iOS und mehrere Linux-Konfigurationen, darunter Builds für CPU und Vulkan.
Warum es wichtig ist
Wer llama.cpp auf unterstützter Hexagon-Hardware nutzt, kann möglicherweise Modelle mit q2_k- oder q3_k-Quantisierung verwenden. Die Versionshinweise nennen jedoch weder kompatible Geräte noch Auswirkungen auf die Leistung.
