Giulianno Vollmers tekniska rapport om Metis-1.6 beskriver två språkmodeller som byggts från grunden: Praxis med 2.94 miljarder parametrar och Logos med 10.23 miljarder. Enligt rapporten kom Logos på sjunde plats bland 17 modeller i 40 jämförelsetester och på andra plats bland 30 modeller i matematik. Rapporten lyfter också fram svagheter inom kod, instruktioner och uppgifter med långa kontexter.
Vollmer beskriver flera problem under träningen, bland annat en optimerare som aldrig kördes och en bugg i längdbelöningen som kunde straffa korrekta, långa svar. Enligt rapporten tränades Logos på 1.02 biljoner token och var inte avsedd att konkurrera med de mest avancerade modellerna.
Varför det spelar roll
För utvecklare som överväger mindre modeller erbjuder rapporten jämförelseresultat och konkreta lärdomar om träning. Samtidigt visar rapportens egna resultat att Logos är svag på kod och arbete med långa kontexter; någon oberoende validering dokumenteras inte här.
