DeepSeek a publié les poids de son modèle V4.1-Flash sur HuggingFace et l’a rendu accessible via les API de modèles de Baseten. Le modèle compte 552 B de paramètres au total, mais n’en active que 8 B lors du préremplissage et 16 B pendant le décodage, ce qui le rend moins coûteux à exécuter que les versions précédentes. Il prend en charge une fenêtre de contexte de 1 M de tokens et accepte du texte et des images en entrée. La pile d’inférence de Baseten achemine les requêtes vers les GPU qui contiennent déjà le préfixe nécessaire, ce qui accélère encore l’inférence pour les agents de code.
Pourquoi c'est important
Les développeurs d’assistants de programmation peuvent réduire les coûts GPU et traiter des requêtes plus longues sans mémoire supplémentaire.
