llama.cpp、新版でVulkanデバイスの保持時間を設定可能に

オープンソースライブラリのllama.cpp（v b12363）に、VulkanバックエンドでGPUデバイスを指定した時間だけ稼働状態に保つ機能が追加され、推論を繰り返す際の負担が軽減されます。

短信著者： OossaOossa公開日: 2026年11月13日 18:21 UTC1 分で読める

ggml‑orgチームは2026年11月13日、llama.cppのバージョンb12363をリリースしました。今回のアップデートでは、Vulkanバックエンドに任意で設定できるデバイス保持機能が加わり、GPUをシャットダウンするまでの稼働時間を指定できるようになりました。この変更により、デバイスの所有権がバックエンドに移り、コードも簡素化されています。macOS、iOS、および複数のUbuntu派生版向けのビルド済みバイナリも含まれています。