DeepSeek subió los pesos de su modelo V4.1-Flash a HuggingFace y lo puso a disposición a través de las API de modelos de Baseten. El modelo tiene 552 B de parámetros en total, pero solo activa 8 B durante el prellenado y 16 B durante la decodificación, por lo que cuesta menos ejecutarlo que las versiones anteriores. Admite una ventana de contexto de 1 M de tokens y acepta texto e imágenes como entrada. La infraestructura de servicio de Baseten dirige las solicitudes a GPU que ya tienen el prefijo necesario, lo que acelera aún más la inferencia para los agentes de programación.
Por qué importa
Los desarrolladores que crean asistentes de programación pueden reducir los costos de GPU y procesar instrucciones más largas sin necesitar memoria adicional.
