Une équipe de linguistes et d’ingénieurs a publié une série de modèles de langue à poids ouverts capables de comprendre et de générer du wolof, une langue parlée par environ 23 millions de personnes au Sénégal. Les modèles comptent de 0,6 à 14 milliards de paramètres et sont diffusés sous licence ouverte : chacun peut les télécharger et les faire fonctionner localement. Selon l’article, les versions de 8 et 14 milliards de paramètres rivalisent avec des systèmes commerciaux bien plus grands pour les tâches en wolof, tout en restant performantes dans d’autres langues.
Ce que rapporte l’article
Les auteurs décrivent une méthode qui consiste d’abord à affiner des modèles de base à partir de textes en wolof, puis à leur faire suivre un entraînement par instructions (pour leur apprendre à répondre aux consignes) et un alignement sur les préférences (pour optimiser leurs réponses en fonction des jugements humains). Ils fusionnent également des modèles afin d’améliorer les performances. Les expériences portent sur 63 tâches publiques et internes, notamment la traduction, les réponses à des questions et la génération de texte. Les résultats montrent que les modèles de 8 et 14 milliards de paramètres sont particulièrement compétitifs.
Disponibilité
Les modèles sont déjà testés dans le cadre de projets pilotes internes de service client. Le code et les poids sont hébergés à une adresse publique indiquée dans l’article. Aucun coût de téléchargement n’est mentionné et, puisque les poids sont ouverts, les utilisateurs peuvent faire fonctionner les modèles sur leur propre matériel sans payer de frais d’API.
Pourquoi c'est important
Pour les locuteurs du wolof et les entreprises au Sénégal, ces modèles constituent une solution gratuite pouvant être hébergée localement, à la place de services d’API coûteux. Ils peuvent ainsi réduire les dépenses et limiter les risques liés à la confidentialité des données lors de la création de chatbots ou d’outils de traduction. Les affirmations des auteurs n’ont pas encore fait l’objet d’une validation indépendante au-delà de leurs expériences.
