Metis-1.6 보고서, 소형 언어 모델 2종과 한계 공개

Giulianno Vollmer의 Metis-1.6 기술 보고서는 처음부터 개발한 언어 모델 2종을 소개한다. 매개변수 수는 Praxis가 29억 개, Logos가 102억 3,000만 개다. 보고서에 따르면 Logos는 40개 벤치마크에서 17개 모델 중 7위, 수학 부문에서는 30개 모델 중 2위를 차지했다. 반면 코드 작성, 지시 이행, 긴 문맥을 다루는 작업에서는 약점을 보였다.

Vollmer는 실행되지 않은 최적화 도구와 정답이지만 긴 답변에 불이익을 줄 수 있는 길이 보상 버그 등 여러 학습 문제를 자세히 설명했다. 보고서에 따르면 Logos는 토큰 1조 200억 개로 학습했으며, 최첨단 모델과 경쟁하려는 목적은 아니었다.