Des chercheurs ont présenté LayerTrim, une technique d’élagage structuré des grands modèles de langage qui ne nécessite aucun entraînement. Elle supprime les couches redondantes du décodeur tout en préservant les mécanismes d’attention, ce qui permet de maintenir les performances sur les tâches nécessitant un raisonnement approfondi. Sur le modèle Qwen3 de 14 milliards de paramètres, LayerTrim accélère le préremplissage de 1,24× et réduit de 19,7 % le pic de mémoire GPU par rapport au modèle non élagué. Sur trois modèles et cinq benchmarks, la méthode a amélioré la précision moyenne de jusqu’à 21,4 points par rapport à la méthode RESP, qui l’a précédée.
Pourquoi c'est important
Les développeurs peuvent déployer des modèles de langage plus petits et plus rapides pour les tâches de raisonnement, sans devoir les réentraîner à grands frais.
