Forskare har presenterat LayerTrim, en strukturerad beskärningsmetod för stora språkmodeller som inte kräver träning. Metoden tar bort överflödiga avkodarlager men lämnar uppmärksamhetsmekanismerna intakta, vilket bidrar till att bevara prestandan i uppgifter som kräver längre resonemang. På Qwen3-modellen med 14 miljarder parametrar gör LayerTrim förbehandlingen 1,24 gånger snabbare och minskar den maximala GPU-minnesanvändningen med 19,7 procent jämfört med den obeskurna modellen. I tester av tre modeller på fem riktmärken ökade den den genomsnittliga träffsäkerheten med upp till 21,4 poäng jämfört med den tidigare metoden RESP.
Varför det spelar roll
Utvecklare kan driftsätta mindre och snabbare språkmodeller för resonemangsuppgifter utan kostsam omträning.
