DwarfStar ابزار ds4 را برای اجرای محلی مدل‌های زبانی بزرگ عرضه کرد

خالق Redis ابزار ds4 را معرفی کرده است؛ موتور استنتاجیِ مبتنی بر C که اجرای مدل‌های DeepSeek، GLM و Qwen را روی مک‌های مجهز به حافظه زیاد و رایانه‌های دارای GPU ممکن می‌کند.

خبر کوتاهنویسنده: Oossaمنتشرشده توسط Oossa: ۱۰ مهر ۱۴۰۵ ساعت ۲۳:۳۷ UTC1 دقیقه مطالعه

1 منبع ↓

Antirez، خالق Redis، در ۲ اکتبر ۲۰۲۶ از ds4 رونمایی کرد. این ابزار یک موتور استنتاجیِ محدود و مبتنی بر C است که مدل‌های پیشرفته‌ای مانند DeepSeek V4، GLM 5.x و Qwen 3.8 را روی مک‌های مجهز به حافظه زیاد و دستگاه‌های دارای CUDA یا ROCm اجرا می‌کند. ds4 از کوانتیزه‌سازی نامتقارن ۲ بیتی استفاده می‌کند و می‌تواند حافظه پنهان KV را روی SSD ذخیره کند؛ در نتیجه، پرامپت‌های طولانی پس از راه‌اندازی دوباره نیز حفظ می‌شوند. این ابزار رابط خط فرمان، API محلی HTTP و یک عامل کدنویسی بومی دارد که همگی از وضعیت یکسانی برای مدل استفاده می‌کنند.

چرا مهم است

توسعه‌دهندگان می‌توانند مدل‌های زبانی بزرگ و قدرتمند را روی سخت‌افزار خودشان اجرا کنند و به APIهای راه دور وابسته نباشند؛ این کار تأخیر و نگرانی‌های مربوط به حریم خصوصی داده‌ها را کاهش می‌دهد.