DeepSeek ha caricato i pesi del modello V4.1-Flash su HuggingFace e lo ha reso disponibile tramite le API Model di Baseten. Il modello ha 552 B di parametri complessivi, ma ne attiva solo 8 B durante la fase di prefill e 16 B in fase di decodifica, risultando così più economico da eseguire rispetto alle versioni precedenti. Supporta una finestra di contesto da 1 M di token e accetta testo e immagini in input. Lo stack di serving di Baseten indirizza le richieste verso GPU che hanno già in memoria il prefisso necessario, velocizzando ulteriormente l’inferenza per gli agenti di coding.
Perché conta
Gli sviluppatori che creano assistenti di coding possono ridurre i costi delle GPU e gestire prompt più lunghi senza memoria aggiuntiva.
