Il report tecnico di Metis-1.6, firmato da Giulianno Vollmer, descrive due modelli linguistici creati da zero: Praxis, con 2.94 miliardi di parametri, e Logos, con 10.23 miliardi. Secondo il report, Logos si è classificato settimo su 17 modelli in 40 benchmark e secondo su 30 modelli in matematica; il documento segnala anche carenze nella programmazione, nel seguire le istruzioni e nei compiti che richiedono contesti lunghi.
Vollmer illustra diversi problemi durante l’addestramento, tra cui un ottimizzatore che non è mai entrato in funzione e un bug nel sistema di ricompensa per la lunghezza, che poteva penalizzare risposte corrette ma lunghe. Il report afferma che Logos è stato addestrato su 1.02 trilioni di token e che non era stato progettato per competere con i modelli di frontiera.
Perché conta
Per gli sviluppatori che valutano modelli più piccoli, il report offre risultati dei benchmark e indicazioni concrete sui problemi di addestramento. Le sue stesse conclusioni, però, mostrano che Logos è carente nella programmazione e nella gestione di contesti lunghi; qui non viene documentata una convalida indipendente.
