llama.cpp 0.5、Q5_0とQ5_1の量子化に対応

ggml-orgチームは、llama.cppのバージョンb12345をリリースした。Q5_0とQ5_1の量子化に対応し、推論を高速化できる5ビット圧縮を利用できる。今回のアップデートでは、Hexagonデバイス向けにこれらの形式専用のカーネルも追加された。macOS Apple Silicon、macOS Intel、iOSのほか、CPU専用版やVulkan版を含む複数のUbuntuビルド向けに、ビルド済みバイナリが提供される。