Ollamaは、モデルサービングツールのバージョン0.40.6-rc0を公開しました。このアップデートでは、Windowsで孤立した実行プロセスが残る問題を解消し、新しいGGUFのテンソル/ファイル形式を2種類(q2_0)追加したほか、OllamaのクラウドでClefインターフェースを利用できるようになりました。また、–askモードで質問キーの識別子が導入されています。変更点はGitHubのリリースノートに記載されています。
なぜ重要か
開発者はWindowsで不要なプロセスを残さずにOllamaを実行できるほか、新しく小型のテンソルを使って推論を高速化できます。