Giulianno Vollmers technischer Bericht zu Metis-1.6 beschreibt zwei von Grund auf entwickelte Sprachmodelle: Praxis mit 2.94 billion Parametern und Logos mit 10.23 billion. Dem Bericht zufolge belegte Logos über 40 Benchmarks hinweg unter 17 Modellen den siebten Platz und in Mathematik unter 30 Modellen den zweiten. Zugleich nennt der Bericht Schwächen bei Programmieraufgaben, beim Befolgen von Anweisungen und bei Aufgaben mit langen Kontexten.
Vollmer beschreibt mehrere Probleme beim Training, darunter einen Optimierer, der nie zum Einsatz kam, und einen Fehler bei der Längenbewertung, durch den richtige, ausführliche Antworten bestraft werden konnten. Dem Bericht zufolge wurde Logos mit 1.02 trillion Tokens trainiert und sollte nicht mit Spitzenmodellen konkurrieren.
Warum es wichtig ist
Für Entwickler, die kleinere Modelle in Betracht ziehen, bietet der Bericht Benchmark-Ergebnisse und konkrete Erkenntnisse zum Training. Die eigenen Befunde zeigen jedoch, dass Logos bei Programmieraufgaben und der Arbeit mit langen Kontexten schwach ist; eine unabhängige Überprüfung wird hier nicht dokumentiert.
