オープンソースのllama.cppライブラリがバージョンb11500を公開しました。macOS Apple Silicon、macOS Intel、iOS、および複数構成のUbuntu(CPU、Vulkan、CUDA)向けに、すぐに実行できるバイナリが含まれています。また、低レベルのメモリ処理に関するバグ(hex-mmadd)も修正されました。ファイルはGitHubのリリースページからダウンロードできます。
なぜ重要か
開発者は、自分でビルドしなくても、より多くのデバイス上でllama.cppをローカル実行できるようになります。