DeepSeekは「V4.1-Flash」の重みをHuggingFaceにアップロードし、BasetenのModel APIsでも利用できるようにした。総パラメーター数は552 Bだが、プリフィル処理で有効になるのは8 B、デコードでは16 Bのみ。このため、従来モデルより低コストで実行できる。コンテキストウィンドウは1 Mトークンで、テキストと画像を入力できる。Basetenのサービング基盤は、必要なプレフィックスをすでに保持しているGPUにリクエストを振り分けるため、コーディングエージェントの推論をさらに高速化できる。
なぜ重要か
コーディングアシスタントを開発する人は、GPUコストを抑えながら、メモリーを増やさずにより長いプロンプトを実行できる。
