Liquid AI 在 Hugging Face 发布了 LFM2.5‑24B‑A2B 模型的新版本。该模型已转换为 MLX 格式，并量化为每个权重 6 位，同时 MoE 路由门保持全精度。它可通过 mlx‑lm 0.32.0 或更高版本加载；旧版本虽然能加载模型，但会错误地路由专家。该模型采用类似 ChatML 的对话模板，并支持函数调用。
为什么重要
开发者可以在设备上更快地运行大型推理模型，尤其是在 Apple Silicon 设备上。
Liquid AI 在 Hugging Face 发布 24B LFM2.5 的 MLX 6 位版本
24 billion 参数的 LFM2.5 模型现已推出 MLX 6 位版本，可通过 mlx‑lm 0.32.0 或更高版本运行。
简讯作者： OossaOossa 发布日期: 1 分钟阅读
继续阅读
Oossa · 新闻简报
一周 AI，讲明白
每周一，用通俗的语言讲清值得知道的新闻。免费，无垃圾邮件。