Giulianno VollmerのMetis-1.6技術報告書では、ゼロから開発した2つの言語モデル、パラメーター数29億4000万のPraxisと102億3000万のLogosについて説明している。報告書によると、Logosは40のベンチマークで17モデル中7位、数学分野では30モデル中2位だった。一方、コード、指示への追従、長文コンテキストを扱うタスクには弱さがあった。
Vollmerは、オプティマイザーが一度も実行されなかった問題や、正しくても長い回答をペナルティーの対象にしかねない長さ報酬のバグなど、複数の学習上の問題を詳述している。報告書によると、Logosは1兆200億トークンで学習され、最先端モデルとの競争を目的としていなかった。
なぜ重要か
小型モデルの導入を検討する開発者にとって、この報告書はベンチマークの結果と具体的な学習上の教訓を示している。ただし、報告書自体が示すように、Logosはコードや長文コンテキストの処理が苦手で、ここでは第三者による検証について記載されていない。
