МФТИ и «Т-Технологии» разработали SimplexLoRA — метод дообучения языковых моделей. Он оценивает, каким слоям нужны более крупные адаптеры, и распределяет между ними фиксированный бюджет параметров. Авторы сообщили, что метод проверили на 12 задачах и четырёх моделях, в том числе Llama 3.1 8B и Qwen3-8B.
По описанию разработчиков, после распределения ресурсов обучение продолжается обычным способом LoRA, а при использовании модели дополнительные вычисления не нужны. Исходный код опубликован открыто. Статью о методе планируют представить на конференции EMNLP 2026.
Почему это важно
Разработчикам с ограниченной видеопамятью метод может помочь распределять бюджет дообучения между слоями; насколько он улучшает качество относительно LoRA в конкретных проектах, из приведённых данных не ясно.
