Araştırmacılar, büyük dil modelleri için eğitim gerektirmeyen yapılandırılmış bir budama tekniği olan LayerTrim’i tanıttı. Yöntem, dikkat mekanizmalarını koruyup gereksiz decoder katmanlarını kaldırarak uzun akıl yürütme gerektiren görevlerde performansın sürdürülmesine yardımcı oluyor. 14 milyar parametreli Qwen3 modelinde LayerTrim, budanmamış modele kıyasla prefill işlemini 1.24 kat hızlandırıyor ve GPU’nun en yüksek bellek kullanımını %19.7 azaltıyor. Üç model ve beş kıyaslama testinde ise önceki RESP yöntemine göre ortalama doğruluğu 21.4 puana kadar artırdı.
Neden önemli
Geliştiriciler, maliyetli yeniden eğitim süreçlerine gerek kalmadan akıl yürütme görevleri için daha küçük ve hızlı dil modelleri kullanabilir.
