گزارش فنی Metis-1.6 به قلم Giulianno Vollmer دو مدل زبانی را شرح میدهد که از ابتدا ساخته شدهاند: Praxis با 2.94 میلیارد پارامتر و Logos با 10.23 میلیارد پارامتر. در این گزارش آمده است که Logos در میان 17 مدل و بر پایهٔ 40 بنچمارک رتبهٔ هفتم را کسب کرد و در ریاضیات، میان 30 مدل دوم شد؛ همچنین به ضعفهای آن در کدنویسی، پیروی از دستورها و کار با متنهای طولانی اشاره شده است.
Vollmer چند مشکل در فرایند آموزش را شرح میدهد؛ از جمله بهینهسازی که هرگز اجرا نشد و باگی در پاداش طول پاسخ که میتوانست پاسخهای درست و طولانی را جریمه کند. طبق گزارش، Logos با 1.02 تریلیون توکن آموزش دید و قرار نبود با مدلهای پیشرو رقابت کند.
چرا مهم است
این گزارش برای توسعهدهندگانی که مدلهای کوچکتر را بررسی میکنند، نتایج بنچمارک و درسهای مشخصی از فرایند آموزش ارائه میدهد؛ اما یافتههای خود گزارش نشان میدهد Logos در کدنویسی و کار با متنهای طولانی ضعیف است. در اینجا اعتبارسنجی مستقل مستند نشده است.