Los investigadores presentaron LayerTrim, una técnica de poda estructurada para modelos de lenguaje grandes que no requiere entrenamiento. El método elimina capas redundantes del decodificador y conserva intactos los mecanismos de atención, lo que ayuda a mantener el rendimiento en tareas que exigen razonamientos extensos. En el modelo Qwen3 de 14.000 millones de parámetros, LayerTrim hace que el procesamiento inicial sea 1,24 veces más rápido y reduce un 19,7% el uso máximo de memoria de la GPU frente al modelo sin podar. En tres modelos y cinco pruebas de referencia, mejoró la precisión media hasta en 21,4 puntos respecto al método anterior RESP.
Por qué importa
Los desarrolladores pueden implementar modelos de lenguaje más pequeños y rápidos para tareas de razonamiento sin costosos reentrenamientos.
