शोधकर्ताओं ने LayerTrim पेश किया है—बड़े भाषा मॉडलों की संरचित छंटाई की ऐसी तकनीक, जिसके लिए दोबारा प्रशिक्षण की ज़रूरत नहीं पड़ती। यह डिकोडर लेयर के गैरज़रूरी हिस्से हटाती है, लेकिन अटेंशन तंत्र को जस का तस रखती है। इससे लंबे तर्क की ज़रूरत वाले कामों में प्रदर्शन बनाए रखने में मदद मिलती है। 14 अरब पैरामीटर वाले Qwen3 मॉडल पर LayerTrim, बिना छंटाई वाले मॉडल की तुलना में प्रीफिल को 1.24 गुना तेज़ करता है और GPU की अधिकतम मेमोरी खपत 19.7 प्रतिशत घटाता है। तीन मॉडलों और पांच बेंचमार्क पर, इसने पिछले RESP तरीके के मुकाबले औसत सटीकता में 21.4 अंक तक सुधार किया।
यह क्यों मायने रखता है
डेवलपर महंगे दोबारा प्रशिक्षण के बिना तर्क संबंधी कामों के लिए छोटे और तेज़ भाषा मॉडल तैनात कर सकते हैं।
