O relatório técnico do Metis-1.6, de Giulianno Vollmer, descreve dois modelos de linguagem desenvolvidos do zero: Praxis, com 2.94 bilhões de parâmetros, e Logos, com 10.23 bilhões. Segundo o relatório, o Logos ficou em sétimo lugar entre 17 modelos em 40 testes de referência e em segundo entre 30 modelos em matemática. O documento também aponta dificuldades com programação, seguimento de instruções e tarefas com contexto longo.
Vollmer detalha vários problemas de treinamento, entre eles um otimizador que nunca foi executado e um erro na recompensa por extensão que podia penalizar respostas corretas e longas. Segundo o relatório, o Logos foi treinado com 1.02 trilhão de tokens e não tinha como objetivo competir com modelos de ponta.
Por que importa
Para desenvolvedores que consideram usar modelos menores, o relatório apresenta resultados em testes de referência e lições específicas sobre treinamento. Mas as próprias conclusões mostram que o Logos é fraco em programação e tarefas com contexto longo; o documento não registra uma validação independente.
