DeepSeek وزن‌های مدل V4.1-Flash را در HuggingFace منتشر کرده و آن را از طریق APIهای مدل Baseten در دسترس گذاشته است. این مدل در مجموع 552 B پارامتر دارد، اما هنگام مرحلهٔ پیش‌پرکردن فقط 8 B و هنگام رمزگشایی 16 B پارامتر را فعال می‌کند؛ در نتیجه اجرای آن از نسخه‌های قبلی ارزان‌تر است. این مدل از پنجرهٔ زمینهٔ 1 M توکنی پشتیبانی می‌کند و می‌تواند متن و تصویر را به‌عنوان ورودی دریافت کند. پشتهٔ ارائهٔ سرویس Baseten درخواست‌ها را به GPUهایی هدایت می‌کند که پیشوند موردنیاز را از قبل در حافظه دارند و به این ترتیب، استنتاج برای عامل‌های کدنویسی را سریع‌تر می‌کند.
چرا مهم است
توسعه‌دهندگانی که دستیارهای کدنویسی می‌سازند، می‌توانند هزینهٔ GPU را کاهش دهند و بدون نیاز به حافظهٔ بیشتر، از پرامپت‌های طولانی‌تری استفاده کنند.
