Liquid AIは、意思決定モデル「d1-omni-600M」の8ビット版をHugging Faceで公開しました。「d1-omni-600M-MLX-8bit」と名付けられたこのモデルは、MLX-vlmライブラリを使ってApple Silicon上で動作し、容量はわずか0.73 GBで、元のモデルの約60％です。テキスト、画像、音声の入力に対して、名前と型が指定された複数の質問に1回のフォワードパスで回答し、生成トークンは出力しません。リポジトリには、pipのインストールコマンドと、テキスト、画像、音声で質問するサンプルコードが含まれています。
なぜ重要か
開発者はGPUなしでMac上にマルチモーダル意思決定モデルをローカル実行できるようになり、問い合わせの自動振り分けなど、エッジで動くアプリケーションの高速化につながります。
