В техническом отчёте Джулианно Воллмера о Metis-1.6 описаны две языковые модели, созданные с нуля: Praxis с 2.94 миллиарда параметров и Logos с 10.23 миллиарда. Согласно отчёту, Logos заняла седьмое место среди 17 моделей по результатам 40 тестов и второе среди 30 моделей в математике. При этом у неё выявились слабые стороны в программировании, выполнении инструкций и задачах с длинным контекстом.
Воллмер подробно описывает несколько проблем при обучении, в том числе оптимизатор, который так и не запустился, и ошибку в вознаграждении за длину ответа, из-за которой могли штрафоваться правильные, но пространные ответы. В отчёте говорится, что Logos обучали на 1.02 триллиона токенов и не предназначали для конкуренции с передовыми моделями.
Почему это важно
Разработчикам, которые рассматривают небольшие модели, отчёт предлагает результаты тестов и конкретные уроки из процесса обучения. Однако собственные выводы авторов показывают, что Logos слаба в программировании и работе с длинным контекстом; независимая проверка результатов в отчёте не описана.
