Настройка с помощью soft prompts помогает оценивать знания LLM, а не формат ответов

Aleph Alpha представила метод, который настраивает лишь несколько обучаемых векторов — так называемых soft prompts, — чтобы научить замороженную языковую модель отвечать строго в формате, требуемом бенчмарком. Настройка занимает около 80 шагов, или примерно 1,5 минуты для модели с 7 млрд параметров. Точность соблюдения формата повышается почти до 100%, при этом знания модели не меняются.

Поскольку оценка знаний остается прежней, а форматирование улучшается, исследователи могут объективно сравнивать базовые модели и прогнозировать, как они расположатся в рейтинге после полноценного постобучения. Это позволяет сэкономить недели вычислений.