ggml-orgチームがllama.cppのバージョンb11827をリリースした。今回の更新では、Qualcomm Adreno GPUにも対応するOpenCL向けの深度畳み込み(conv2d)カーネルが追加された。macOS Apple Silicon、macOS Intel、iOS、および複数のUbuntu環境(CPU版とVulkan版)向けのビルド済みバイナリも利用できる。変更はOpenCodeと、QualcommのエンジニアであるLi Heが提供した。
なぜ重要か
OpenCL GPUを搭載したデバイスでllama.cppのモデルをより高速に実行できるようになり、省電力なハードウェアの選択肢が広がる。