In het technische rapport over Metis-1.6 beschrijft Giulianno Vollmer twee taalmodellen die vanaf nul zijn gebouwd: Praxis, met 2.94 miljard parameters, en Logos, met 10.23 miljard. Volgens het rapport eindigde Logos op de zevende plaats van 17 modellen, gemeten over 40 benchmarks, en op de tweede plaats van 30 modellen voor wiskunde. Het rapport noemt ook zwakke punten bij coderen, instructies opvolgen en taken met lange contexten.
Vollmer beschrijft verschillende problemen tijdens het trainen, waaronder een optimizer die nooit is uitgevoerd en een fout in de lengtebeloning die correcte, lange antwoorden kon bestraffen. Volgens het rapport is Logos getraind op 1.02 biljoen tokens en was het niet bedoeld om te concurreren met grensverleggende modellen.
Waarom het ertoe doet
Voor ontwikkelaars die kleinere modellen overwegen, biedt het rapport benchmarkresultaten en concrete lessen over het trainen ervan. Tegelijkertijd blijkt uit de eigen bevindingen dat Logos zwak is in coderen en werken met lange contexten; onafhankelijke validatie wordt hier niet beschreven.
