Ollamaはバージョン0.40.17-rc0を発表した。今回のアップデートではVulkan GPUのmmapに対応し、モデルがGPUメモリをより効率的に利用できるようになった。また、MLXバックエンドでテキストを並列生成できるようになり、クラッシュ後にChatGPTのコマンドラインインターフェースを復元する処理も改善された。llama.cppライブラリはコミットb12257に更新され、新たなコントリビューターが初めてプルリクエストを送った。
なぜ重要か
対応GPUでは、開発者がより大きなモデルを高速に実行でき、ローカルAIアプリケーションの遅延を抑えられる。