Le rapport technique de Giulianno Vollmer sur Metis-1.6 décrit deux modèles de langage développés de zéro : Praxis, avec 2.94 billion paramètres, et Logos, avec 10.23 billion. D’après le rapport, Logos se classe septième parmi 17 modèles sur 40 tests de référence, et deuxième parmi 30 modèles en mathématiques. Il relève aussi des faiblesses en programmation, dans le suivi des instructions et dans les tâches nécessitant un long contexte.
Vollmer détaille plusieurs problèmes d’entraînement, notamment un optimiseur qui n’a jamais fonctionné et un bug lié à la récompense de longueur, susceptible de pénaliser les réponses longues et correctes. Le rapport indique que Logos a été entraîné sur 1.02 trillion tokens et qu’il n’avait pas vocation à rivaliser avec les modèles de pointe.
Pourquoi c'est important
Pour les développeurs qui envisagent d’utiliser des modèles plus petits, le rapport fournit des résultats de référence et des enseignements précis sur l’entraînement. Mais ses propres conclusions montrent que Logos est peu performant en programmation et dans le traitement de longs contextes ; aucune validation indépendante n’est documentée ici.
