Oossa

TRIAGE से Qwen मॉडल की 4-बिट RL ट्रेनिंग स्थिर

शोधकर्ताओं ने TRIAGE पेश किया है—दिशा के प्रति सचेत एक तरीका, जो 4-बिट पर काम करते हुए गणितीय बेंचमार्क पर फुल-प्रिसिजन के बराबर प्रदर्शन देता है।

संक्षिप्तलेखक: Oossa द्वारा प्रकाशित: 1 मिनट पढ़ना

Zhen Li और उनकी टीम ने 7 अक्टूबर 2026 को TRIAGE नाम की नई तकनीक जारी की। यह नेटिव NVFP4 में काम करती है, जो वेट और एक्टिवेशन का 4-बिट फ़ॉर्मेट है, और रीइन्फोर्समेंट लर्निंग के दौरान पॉलिसी-ग्रेडिएंट अपडेट को संतुलित करती है। यह तरीका सेगमेंट स्तर पर गड़बड़ियों का पता लगाकर सीमित सुधार करता है और कम-प्रिसिजन वाले निष्पादन को जस का तस रखता है। Qwen3‑4B और Qwen3‑30B‑A3B पर किए गए परीक्षणों में पांच गणितीय रीजनिंग बेंचमार्क पर स्थिर ट्रेनिंग और फुल-प्रिसिजन के बराबर गुणवत्ता दिखी। साथ ही, BF16 की तुलना में रोलआउट की गति 2.3 गुना तक तेज रही।

यह क्यों मायने रखता है

इससे डेवलपर सटीकता खोए बिना 4-बिट हार्डवेयर पर बड़े भाषा मॉडल तेज़ी से ट्रेन कर सकते हैं और कंप्यूटिंग लागत घटा सकते हैं।

क्या यह लेख उपयोगी था?
साझा करें

यह भी पढ़ें

Oossa · न्यूज़लेटर

AI का हफ़्ता, आसान भाषा में

हर सोमवार: जानने लायक खबरें, सरल भाषा में। मुफ़्त, कोई स्पैम नहीं।