Samaya、金融ベンチマークでSterlingがClaudeを上回ったと発表

Samaya AIによると、同社の金融リサーチモデルSterlingは、自社のベンチマーク「FrontierFinance」で58.9%のスコアを記録し、Claude Fable 5.1の55.9%を上回った。Samayaが公表した質問あたりのコストは、Sterlingが$0.61、Claudeが$6.89で、Sterlingは約11分の1だという。

この数値はSamaya独自のベンチマーク結果であり、第三者による比較ではない。FrontierFinanceは、投資プロセス全体にわたるリサーチ課題を評価する。財務データを収集し、出典を示した文章で回答を裏付ける必要がある質問も含まれる。Samayaによると、ベンチマークの問題は学習データから除外されていたが、テストの作成と評価は同社が行った。

Sterlingの学習方法

SterlingはNVIDIAのNemotron 3.5 Lightningをベースとしている。これは300億パラメーターのモデルで、一度に使うのは30億パラメーターだ。Samayaによると、ベースモデルのFrontierFinanceでの正答率は42.5%だったが、同社が4段階の学習を行い、58.9%まで引き上げた。

このプロセスでは、教師あり学習を2回、強化学習を2回実施した。強化学習は、スコアを使って後続の試行を改善する手法だ。モデルは金融リサーチ用ツールの使い方や、調査方法の選択、証拠の収集、出典付きレポートの作成を学習した。Samayaによると、8種類の異なる教師モデルによる例と、金融の専門家が作成・採点した質問を使って学習させた。

調査環境も結果を左右する。Sterlingは金融に特化したツール群と連携し、補助モデルが長いツール出力や調査履歴を短縮する。Samayaは、この仕組みによって、実際に稼働するパラメーター数の少ないモデルでも、多数のツール呼び出しを伴う調査を行えるとしている。したがって、公表されたスコアが示すのは、ツールなしで単独回答するモデルの性能ではなく、このシステム内で動作するモデルの性能だ。

この比較で分かること、分からないこと

今回の結果は、追加学習と用途に合わせた調査環境によって、Samaya独自のテストで小型モデルの性能を高められる可能性を示している。一方で、Sterlingが金融リサーチ全般でClaudeより正確だと証明するものではない。提示された結果は1つのベンチマークに限られ、第三者による評価も示されていない。

Samayaによると、学習のチェックポイントを選ぶため、社内の別の質問100件を使った。同社はまた、同じ手法で学習させたより大きなモデルでも初期段階の性能向上が見られたと報告しているが、結果はまだ公表していない。今回の発表では、Sterlingの利用方法も明らかにされていない。