A DeepSeek publicou os pesos do modelo V4.1-Flash no HuggingFace e também o disponibilizou pelas APIs de modelos da Baseten. O modelo tem 552 B de parâmetros no total, mas ativa apenas 8 B na etapa de prefill e 16 B na decodificação, o que torna sua execução mais barata que a das versões anteriores. Ele oferece uma janela de contexto de 1 M de tokens e aceita texto e imagens como entrada. A infraestrutura de inferência da Baseten direciona as solicitações a GPUs que já mantêm o prefixo necessário na memória, acelerando ainda mais a inferência para agentes de programação.
Por que importa
Desenvolvedores que criam assistentes de programação podem reduzir os custos com GPUs e usar prompts mais longos sem precisar de memória adicional.
