DeepSeek ने अपने V4.1-Flash मॉडल के वेट HuggingFace पर अपलोड कर दिए हैं और इसे Baseten के Model APIs के ज़रिए उपलब्ध कराया है। मॉडल में कुल 552 B पैरामीटर हैं, लेकिन प्रीफ़िल चरण में सिर्फ़ 8 B और डिकोडिंग के दौरान 16 B पैरामीटर सक्रिय होते हैं। इससे इसे चलाने की लागत पिछले संस्करणों से कम रहती है। यह 1 M टोकन की कॉन्टेक्स्ट विंडो को सपोर्ट करता है और इनपुट के तौर पर टेक्स्ट व इमेज ले सकता है। Baseten का सर्विंग स्टैक अनुरोधों को उन GPU पर भेजता है जिनमें ज़रूरी प्रीफ़िक्स पहले से मौजूद हो, जिससे कोडिंग एजेंट्स के लिए इन्फ़रेंस और तेज़ होता है।
यह क्यों मायने रखता है
कोडिंग असिस्टेंट बनाने वाले डेवलपर GPU की लागत घटा सकते हैं और अतिरिक्त मेमोरी के बिना लंबे प्रॉम्प्ट चला सकते हैं।
