DeepSeek heeft de gewichten van het V4.1-Flash-model op HuggingFace gezet en beschikbaar gemaakt via de Model API’s van Baseten. Het model heeft in totaal 552 B parameters, maar activeert er tijdens de prefill-stap slechts 8 B en tijdens het decoderen 16 B. Daardoor is het goedkoper te draaien dan eerdere versies. Het ondersteunt een contextvenster van 1 M tokens en kan tekst en afbeeldingen als invoer verwerken. De serving-stack van Baseten stuurt verzoeken naar GPU’s waarop de benodigde prefix al aanwezig is, waardoor coding agents sneller inferentie kunnen uitvoeren.
Waarom het ertoe doet
Ontwikkelaars die coding assistants bouwen, kunnen besparen op GPU-kosten en langere prompts verwerken zonder extra geheugen.
