Oossa

Ollama、バージョン0.40.17-rc0をリリース

オープンソースのAIランタイムにGPUメモリマッピングと並列生成を追加。ChatGPT CLIの再起動も改善

短信著者: Oossa公開日: 1 分で読める

Ollamaはバージョン0.40.17-rc0を発表した。今回のアップデートではVulkan GPUのmmapに対応し、モデルがGPUメモリをより効率的に利用できるようになった。また、MLXバックエンドでテキストを並列生成できるようになり、クラッシュ後にChatGPTのコマンドラインインターフェースを復元する処理も改善された。llama.cppライブラリはコミットb12257に更新され、新たなコントリビューターが初めてプルリクエストを送った。

なぜ重要か

対応GPUでは、開発者がより大きなモデルを高速に実行でき、ローカルAIアプリケーションの遅延を抑えられる。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。