DeepSeek, V4.1-Flash modelinin ağırlıklarını HuggingFace’e yükledi ve modeli Baseten’in Model API’leri üzerinden kullanıma sundu. Model toplam 552 B parametreye sahip; ancak prefill aşamasında yalnızca 8 B, decoding sırasında ise 16 B parametreyi etkinleştiriyor. Bu sayede önceki sürümlere göre çalıştırma maliyeti düşüyor. Model, 1 M tokenlık bağlam penceresini destekliyor ve girdi olarak metinle görüntüleri kabul edebiliyor. Baseten’in sunucu altyapısı, istekleri gerekli öneke zaten sahip GPU’lara yönlendirerek kodlama ajanları için çıkarım hızını daha da artırıyor.
Neden önemli
Kodlama asistanları geliştirenler GPU maliyetlerini düşürebilir ve ek belleğe ihtiyaç duymadan daha uzun istemlerle çalışabilir.
