DeepSeek hat die Gewichte seines Modells V4.1-Flash auf HuggingFace hochgeladen und stellt es über die Model APIs von Baseten bereit. Das Modell hat insgesamt 552 B Parameter, aktiviert beim Prefill-Schritt jedoch nur 8 B und beim Decoding 16 B. Dadurch ist der Betrieb günstiger als bei früheren Versionen. Es unterstützt ein Kontextfenster von 1 M Token und kann Text und Bilder als Eingabe verarbeiten. Basetens Serving-Stack leitet Anfragen an GPUs weiter, auf denen das benötigte Präfix bereits liegt. Das beschleunigt die Inferenz für Coding-Agenten zusätzlich.
Warum es wichtig ist
Entwickler, die Coding-Assistenten bauen, können GPU-Kosten senken und längere Prompts ohne zusätzlichen Speicherbedarf verarbeiten.
