DeepSeek가 V4.1-Flash 모델의 가중치를 HuggingFace에 올리고 Baseten의 Model APIs를 통해 이용할 수 있도록 했다. 모델의 전체 파라미터 수는 552 B지만 프리필 단계에서는 8 B, 디코딩 단계에서는 16 B만 활성화해 이전 버전보다 실행 비용이 낮다. 1 M 토큰 컨텍스트 윈도우를 지원하며 텍스트와 이미지를 입력으로 받을 수 있다. Baseten의 서빙 스택은 필요한 프리픽스가 이미 로드된 GPU로 요청을 전달해 코딩 에이전트의 추론 속도를 더 높인다.
왜 중요한가
코딩 어시스턴트를 개발하는 이들은 GPU 비용을 낮추고 메모리를 더 늘리지 않고도 더 긴 프롬프트를 처리할 수 있다.