Команда лингвистов и инженеров выпустила набор языковых моделей с открытыми весами, которые понимают волоф и генерируют на нём тексты. На этом языке говорят около 23 миллионов человек, преимущественно в Сенегале. Размер моделей — от 0,6 миллиарда до 14 миллиардов параметров. Они распространяются по открытой лицензии: скачать их и запускать локально может любой желающий. Согласно статье, версии на 8 миллиардов и 14 миллиардов параметров справляются с задачами на волофе не хуже гораздо более крупных коммерческих систем и при этом хорошо работают с другими языками.
Что говорится в статье
Авторы описывают конвейер, в котором базовые модели сначала дообучают на текстах на волофе, затем проводят инструктивную настройку (учат модель выполнять запросы) и выравнивание по предпочтениям (оптимизируют ответы с учётом оценок людей). Кроме того, модели объединяют, чтобы повысить качество работы. В экспериментах проверили 63 публичные и внутренние задачи, в том числе перевод, ответы на вопросы и генерацию текстов. Результаты показывают, что особенно хорошо конкурируют модели на 8 млрд и 14 млрд параметров.
Доступность
Модели уже тестируют в рамках внутренних пилотных проектов по обслуживанию клиентов. Код и веса размещены по общедоступной ссылке, указанной в статье. Плата за скачивание не упоминается. Поскольку веса открыты, пользователи могут запускать модели на собственном оборудовании и не платить за использование API.
Почему это важно
Для носителей волофа и компаний в Сенегале эти модели — бесплатная альтернатива платным API, которую можно разместить у себя. Это поможет сократить расходы и снизить риски для конфиденциальности данных при создании чат-ботов и инструментов перевода. Независимого подтверждения заявленных результатов, помимо экспериментов авторов, пока нет.
