Oossa

NVIDIA、従来型LLMより最大4.2倍速い拡散言語モデルを公開

NVIDIAが、3Bと8Bのモデルを計14種類のオープンチェックポイントとして公開。従来の自己回帰型LLMより最大4.2倍速くデコードできるという。

著者: Oossa公開日: 1 分で読める

Museums Victoria · Unsplash

NVIDIAは、Nemotron‑Labs‑Sigmaという新しい言語モデルシリーズを発表した。同社は、30億パラメーター(3B)と80億パラメーター(8B)のモデルからなる14種類のチェックポイントを、Hugging Faceのモデルハブで公開した。モデルは、学習済みの16次元埋め込み空間でテキストのノイズを取り除く連続拡散プロセスを採用している。NVIDIAによると、この方式により、標準的な自己回帰型デコードより最大4.20倍速くテキストを生成できる。

拡散方式の何が違うのか

従来の大規模言語モデル(LLM)は、自己回帰型デコードと呼ばれる方法で、トークンを1つずつ生成する。これに対し、Nemotron‑Labs‑Sigmaは文全体のノイズを含んだ表現から始め、画像生成の拡散モデルと同様に、反復的にノイズを取り除く。拡散処理を低次元空間で行うため、NVIDIAは品質を維持したまま、わずかなステップ数に処理を蒸留できる。3Bモデルでは、順方向パスをわずか2回に抑えられる。同社はまた、8Bチェックポイント向けに「投機的」な1ステップモードを追加し、GB200でのベンチマークではスループットがさらに3.5倍向上するとしている。

ベンチマークでの性能

モデルを発表した論文では、著者らが複数のタスクでSigmaを、最先端の離散拡散モデルおよび標準的な自己回帰型モデルと比較した。事前学習後、SigmaはGSM8K、HumanEval、MBPPなどの数学・コーディングのベンチマークで他のモデルを上回った。教師ありファインチューニング後は、MATH‑500やAIMEなど、より難しい問題で差がさらに広がり、特にコード生成で大きな改善が見られた。少ないステップ数に蒸留したモデルは、精度をわずかに落とすだけで、数学タスクでは約8倍、コーディングタスクでは約4倍の高速化を実現した。

なぜ重要か

コードアシスタントやリアルタイムのチャットボットなど、応答の速さが求められる用途では、Sigmaの高速なデコードによってレイテンシーやクラウドコストを抑えられる可能性がある。オープンチェックポイントを使えば、研究者はモデルを一から構築せずに、拡散ベースの生成を試せる。ただし、速度に関する主張はまだ独立した検証を受けておらず、実環境での効果は異なる可能性がある。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。