El informe técnico de Metis-1.6, de Giulianno Vollmer, describe dos modelos de lenguaje creados desde cero: Praxis, con 2.94 mil millones de parámetros, y Logos, con 10.23 mil millones. Según el informe, Logos quedó séptimo entre 17 modelos en 40 pruebas y segundo entre 30 modelos en matemáticas; también señala deficiencias en programación, seguimiento de instrucciones y tareas con contextos largos.
Vollmer detalla varios problemas de entrenamiento, entre ellos un optimizador que nunca llegó a ejecutarse y un error en la recompensa por longitud que podía penalizar respuestas correctas y extensas. El informe indica que Logos se entrenó con 1.02 billones de tokens y que no se diseñó para competir con los modelos de vanguardia.
Por qué importa
Para quienes desarrollan aplicaciones y evalúan modelos más pequeños, el informe ofrece resultados de pruebas y lecciones concretas sobre el entrenamiento. Sin embargo, sus propios hallazgos muestran que Logos flojea en programación y tareas con contextos largos; aquí no se documenta una validación independiente.
