Hanxin Zhang के नेतृत्व में शोधकर्ताओं ने TurboMamba पेश किया है। यह भाषा-मॉडल डिज़ाइन हर टोकन ब्लॉक के लिए एक छोटे Transformer को वैश्विक Mamba-3 ब्लॉक के साथ जोड़ता है। इसमें तीन हल्के बदलाव भी हैं: पिछले ब्लॉक के आखिरी टोकन तक सीधी पहुंच, स्कोर में छोटा सुधार और हाल के टोकन की आवृत्तियों का सीखा हुआ मिश्रण। सार्वजनिक FineWeb‑Edu डेटासेट पर किए गए परीक्षणों में TurboMamba ने मानक Transformers और Mamba-3 के कई संस्करणों समेत आधाररेखा के बारह मॉडल्स को गति और सटीकता—दोनों में पीछे छोड़ा।
यह क्यों मायने रखता है
शोधकर्ता भाषा-मॉडल्स को तेज़ी से और कम खर्च में ट्रेन व चला सकते हैं, जिससे नए AI प्रोजेक्ट शुरू करने की लागत की बाधा घटती है।
