webAIは、IBM Granite 4.2 8Bを追加学習して開発した88億パラメーターの推論モデル「TwIL-8B」を公開した。MarkTechPostによると、MATH-500で98.2、LiveCodeBenchで81.6を記録した。一方、同程度の規模のモデルと比べると、知識ベンチマークでは劣るという。
この数値からは、あらゆる種類の評価で強いというより、数学やコーディングのタスクで強みを発揮するモデルだとうかがえる。ただし、数値だけでは、個々のユーザーが抱える問題でどの程度の性能を示すか、また特定の競合モデルと同じ条件で比べた場合にどうなるかは分からない。
スコアから分かること
MATH-500は数学、LiveCodeBenchはコーディングのベンチマークだ。報告では両方のスコアが示されているが、テスト条件や比較対象のモデル、ツールを利用できる設定だったかといった詳細は明らかにされていない。また、採点基準の説明もないため、98.2と81.6は報告されたベンチマークのスコアとして捉えるべきで、正答率や精度を保証する数値ではない。
知識ベンチマークとの比較はさらに具体性に欠ける。ベンチマーク名もスコアも示されておらず、同程度の規模とされるモデルも特定されていない。そのため、差がどれほど大きいのか、どのような知識問題が試されたのかを判断するのは難しい。TwIL-8Bをどこで利用できるのか、重みが公開されているのか、費用はいくらなのかも、現時点で分かっている情報には含まれていない。
位置づけ
TwIL-8BはIBM Granite 4.2 8Bをベースとし、その後に追加学習が行われている。つまり、ベースモデルの構築後に、さらにトレーニングを重ねたモデルだ。今回の発表では、webAIは2つのタスク別ベンチマークで高いスコアを記録したモデルとしてTwIL-8Bを紹介する一方、知識テストでは結果が劣ることも認めている。ただし、同程度の規模のシステムより全般的に優れていると示されたわけではない。数学やコーディングのスコアだけでは知識面の性能は判断できず、比較の詳細も公開されていない。
なぜ重要か
数学やコーディングに使うモデルを選ぶ人にとって、報告されたスコアからTwIL-8Bは注目に値する。ただし、自分のタスクでどう動くかまでは分からない。利用方法や価格、テスト条件も明らかにされていないため、実際に使えるのか、ほかのモデルと公平に比較できるのかを判断するのは難しい。
