Исследователи представили LayerTrim — метод структурного сокращения больших языковых моделей без дополнительного обучения. Он удаляет избыточные слои декодера, сохраняя механизмы внимания, благодаря чему модель не теряет эффективность в задачах, требующих развернутых рассуждений. На модели Qwen3 с 14 миллиардами параметров LayerTrim ускоряет обработку входных данных в 1,24 раза и снижает пиковое потребление памяти GPU на 19,7% по сравнению с исходной моделью. В тестах на трех моделях и пяти бенчмарках средняя точность оказалась до 21,4 пункта выше, чем у предыдущего метода RESP.
Почему это важно
Разработчики смогут развертывать более компактные и быстрые языковые модели для задач на рассуждение без затратного переобучения.
