Pesquisadores apresentaram o LayerTrim, uma técnica estruturada de poda de grandes modelos de linguagem que dispensa treinamento. Ela remove camadas redundantes do decodificador, mas mantém intactos os mecanismos de atenção, o que ajuda a preservar o desempenho em tarefas que exigem raciocínio em respostas longas. No modelo Qwen3 de 14 bilhões de parâmetros, o LayerTrim torna o processamento inicial 1,24 vezes mais rápido e reduz em 19,7% o pico de uso de memória da GPU em comparação com o modelo sem poda. Em três modelos e cinco benchmarks, melhorou a precisão média em até 21,4 pontos em relação ao método anterior, RESP.
Por que importa
Desenvolvedores podem implantar modelos de linguagem menores e mais rápidos para tarefas de raciocínio sem precisar de um retreinamento caro.
