Oossa

Liquid AI、24BモデルをMLX 6ビット版でHugging Faceに公開

パラメーター数240億のLFM2.5モデルが、mlx-lm 0.32.0以降で実行できる6ビットMLX版として利用可能になりました。

短信著者: Oossa公開日: 1 分で読める

Liquid AIは、LFM2.5-24B-A2Bモデルの新バージョンをHugging Faceに公開しました。モデルはMLX形式に変換され、重みは6ビットに量子化されていますが、MoEのルーティングゲートはフル精度を維持しています。mlx-lm 0.32.0以降で読み込めます。旧バージョンでもモデル自体は読み込めますが、エキスパートへのルーティングが正しく行われません。ChatMLに似たチャットテンプレートを採用し、関数呼び出しにも対応しています。

なぜ重要か

開発者は、大規模な推論モデルをデバイス上でより高速に実行できます。特にApple Silicon搭載機での利用に適しています。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。