DeepSeek har laddat upp vikterna till sin modell V4.1-Flash på HuggingFace och gjort den tillgänglig via Basetens Model APIs. Modellen har totalt 552 B parametrar, men aktiverar bara 8 B under prefill-steget och 16 B vid avkodning, vilket gör den billigare att köra än tidigare versioner. Den stöder ett kontextfönster på 1 M token och kan ta emot text och bilder som indata. Basetens serveringslösning skickar förfrågningar till GPU:er som redan har det nödvändiga prefixet i minnet, vilket snabbar upp inferensen ytterligare för kodningsagenter.
Varför det spelar roll
Utvecklare som bygger kodningsassistenter kan sänka GPU-kostnaderna och använda längre promptar utan att behöva mer minne.
