Oossa

DwarfStar发布ds4,可在本地运行大型语言模型

Redis的创作者推出ds4。这款C语言引擎可让大内存Mac和GPU设备在本机运行DeepSeek、GLM和Qwen模型。

简讯作者: Oossa 发布日期: 1 分钟阅读

Redis的创作者Antirez于2026年10月2日发布ds4。这是一款专用的C语言推理引擎,可在大内存Mac、CUDA或ROCm设备上运行DeepSeek V4、GLM 5.x和Qwen 3.8等前沿级模型。它采用非对称2位量化,并可将KV缓存写入SSD,让长提示词在重启后仍可继续使用。ds4提供命令行界面、本地HTTP API和原生编程智能体,三者共享同一模型状态。

为什么重要

开发者可以在自己的硬件上运行强大的大语言模型,无需依赖远程API,从而降低延迟并减少数据隐私方面的顾虑。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。