يصف التقرير التقني لـMetis-1.6، الذي أعدّه Giulianno Vollmer، نموذجين لغويين بُنيا من الصفر: Praxis، ويضم 2.94 billion parameters، وLogos، ويضم 10.23 billion. ويذكر التقرير أن Logos حلّ في المركز السابع بين 17 نموذجًا عبر 40 اختبارًا معياريًا، وفي المركز الثاني بين 30 نموذجًا في الرياضيات؛ كما يشير إلى نقاط ضعف في البرمجة واتباع التعليمات والمهام ذات السياقات الطويلة.
يسرد Vollmer عدة مشكلات واجهت التدريب، منها مُحسِّن لم يُشغَّل قط، وخطأ في مكافأة الطول كان من الممكن أن يعاقب الإجابات الصحيحة والمطوّلة. ويذكر التقرير أن Logos دُرّب على 1.02 trillion tokens، وأنه لم يُصمَّم لمنافسة النماذج الرائدة.
لماذا يهم
يقدّم التقرير للمطورين الذين يدرسون استخدام نماذج أصغر نتائج اختبارات معيارية ودروسًا محددة من عملية التدريب، لكن نتائجه نفسها تُظهر ضعف Logos في البرمجة والمهام ذات السياقات الطويلة؛ ولا يتضمن التقرير توثيقًا لتحقق مستقل من النتائج.
