Liquid AIは、LFM2.5-24B-A2Bモデルの新バージョンをHugging Faceに公開しました。モデルはMLX形式に変換され、重みは6ビットに量子化されていますが、MoEのルーティングゲートはフル精度を維持しています。mlx-lm 0.32.0以降で読み込めます。旧バージョンでもモデル自体は読み込めますが、エキスパートへのルーティングが正しく行われません。ChatMLに似たチャットテンプレートを採用し、関数呼び出しにも対応しています。
なぜ重要か
開発者は、大規模な推論モデルをデバイス上でより高速に実行できます。特にApple Silicon搭載機での利用に適しています。