Oossa

TRIAGE、Qwenの4ビット強化学習を安定化

研究チームが、4ビット実行を維持しながら数学ベンチマークでフル精度と同等の性能を実現する、方向を考慮した補正手法「TRIAGE」を発表した。

短信著者: Oossa公開日: 1 分で読める

Zhen Li氏らのチームは2026年10月7日、新手法「TRIAGE」を発表した。この手法は、重みと活性化に4ビット形式を用いるネイティブNVFP4環境で動作し、強化学習における方策勾配の更新を調整する。セグメント単位で不整合を検出して上限付きの補正を適用するため、低精度での実行を変えずに済む。Qwen3‑4BとQwen3‑30B‑A3Bを使ったテストでは、5つの数学的推論ベンチマークで学習の安定性とフル精度相当の品質が確認され、BF16と比べてロールアウト速度が最大2.3倍向上した。

なぜ重要か

精度を損なわずに4ビット対応ハードウェアで大規模言語モデルをより速く学習できるため、開発者は計算コストを抑えられる。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。