DeepSeek hat angekündigt, DeepInfer als Open Source freizugeben. Die Inferenz-Engine wird im Produktivbetrieb für das Modell DeepSeek‑V4.1‑Flash eingesetzt. Das Framework steht unter der Apache-2.0-Lizenz. Es ist für NVIDIA-SM100-GPUs und Huawei-Ascend-950-NPUs ausgelegt und unterstützt ausschließlich Offline-Inferenz.
Warum es wichtig ist
Entwickler können den produktionsreifen Inferenz-Code von DeepSeek jetzt auf unterstützter Hardware nutzen, ohne einen eigenen Stack aufbauen zu müssen.