webAI a lancé TwIL-8B, un modèle de raisonnement de 8,8 milliards de paramètres entraîné à partir d’IBM Granite 4.2 8B. MarkTechPost fait état de scores de 98,2 au MATH-500 et de 81,6 au LiveCodeBench. Le média indique aussi que TwIL-8B est à la traîne par rapport à des modèles de taille similaire sur les tests de connaissances.
Ces chiffres suggèrent que les points forts annoncés du modèle concernent les tâches de mathématiques et de programmation, plutôt que tous les types d’évaluation. Mais ils ne suffisent pas à montrer comment TwIL-8B se comporterait face aux problèmes d’un utilisateur, ni à comparer ses résultats à ceux de modèles concurrents dans des conditions de test identiques.
Ce que montrent les scores
MATH-500 est un test de mathématiques, tandis que LiveCodeBench évalue les capacités de programmation. L’article donne les scores de TwIL-8B aux deux tests, mais ne précise ni les conditions d’évaluation, ni les variantes des modèles utilisées pour la comparaison, ni si des outils étaient activés. Il n’explique pas non plus l’échelle de notation : les scores de 98,2 et 81,6 doivent donc être compris comme des résultats rapportés à ces tests, et non comme des pourcentages ou des garanties de précision.
La comparaison sur les connaissances est moins précise : aucun nom de test ni aucun score n’est indiqué, et les modèles de taille similaire ne sont pas identifiés. Il est donc difficile de mesurer l’écart ou de savoir quels types de questions de connaissances ont été testés. Les informations disponibles ne précisent pas non plus où accéder à TwIL-8B, si ses poids sont ouverts ni combien il coûte.
Comment le situer
TwIL-8B repose sur IBM Granite 4.2 8B, puis a fait l’objet d’un entraînement complémentaire, c’est-à-dire qu’il a été entraîné davantage après la création du modèle de base. Avec ce lancement, webAI met en avant un modèle affichant de bons résultats dans deux tests nommés, tout en reconnaissant des performances plus faibles aux tests de connaissances. Cela ne prouve pas qu’il surpasse globalement les systèmes de taille comparable : ses scores en mathématiques et en programmation ne permettent pas de trancher la question distincte de ses performances en connaissances, et les détails de la comparaison ne sont pas fournis.
Pourquoi c'est important
Pour choisir un modèle destiné aux mathématiques ou à la programmation, les scores annoncés font de TwIL-8B un modèle à suivre, mais ils ne montrent pas comment il répondrait aux besoins propres à chaque utilisateur. Son accès, son prix et les conditions des tests ne sont pas précisés : il est donc encore impossible de savoir si l’on peut l’utiliser ou le comparer équitablement à d’autres modèles.
