Paradigmaは2026年11月18日、数学的推論に特化して開発した新しい言語モデル「Limite 1B – Violetto」を公開すると発表した。パラメーター数は1 billionで、数学に重点を置いて厳選したコーパスから得た237 billionトークンで学習している。汎用アシスタントを目指す大規模モデルとは異なり、Violettoは指示への調整を最小限にとどめ、1回のやり取りで問題を解く用途や、大規模システム内で高速に処理する部品としての利用を想定している。
Violettoは1回のプロンプトで最大131 kトークンを処理できる。一般的なチャットモデルのコンテキスト長が4–8 kトークン程度であるのに比べ、はるかに長い。長いコンテキストにより、大規模な問題文や証明、コードを保持したまま処理できる。開発チームは最適化した推論用実装も公開しており、ほかの数学特化モデルと比べて学習と推論のコストを抑えられるとしている。
ベンチマークでは、2026年の米国数学招待試験(AIME)で94.01%、推論能力の限界に挑むために設計された、より難しい問題セットBeyondAIMEで74.25%を記録した。Paradigmaの社内評価では、これらの結果によりViolettoは何倍も大きなモデルと肩を並べる。結果は、知識蒸留、対象を絞った教師ありファインチューニング、厳選したカリキュラムを用いた人間のフィードバックによる強化学習(RLHF)を組み合わせた、学習後の工程を経て得られた。
小型の数学特化モデルを公開する理由は?
研究チームによると、小型モデルは必要なハードウェアを抑えられるため、データセンター級のGPUクラスターがなくても、大学や愛好家が数学関連の負荷の高い処理を実行しやすくなる。Apache 2.0ライセンスで公開されているため、誰でもチェックポイントをダウンロードし、アーキテクチャを改変したり、推論用コードを自分のアプリケーションに組み込んだりできる。Paradigmaは、自動定理証明、宿題支援ツール、高スループットの記号計算パイプラインなどの分野で、さらなる実験が進むことを期待している。
なぜ重要か
学生や教育者にとって、Violettoは高額なクラウド利用料をかけずに複雑な数学の問題を解ける無料のツールとなる。研究者は高速な並列ソルバーを大規模なAIパイプラインに組み込み、自動証明生成の研究を加速できる可能性がある。ただし、対話向けの調整は最小限のため、汎用チャットボットとしては十分に機能しない場合がある。