TurboMamba、学習と推論を高速化し予測精度も向上

Hanxin Zhang氏率いる研究チームは、各トークンブロックに小型Transformerを組み合わせた、グローバルなMamba-3ブロックを備える言語モデル設計「TurboMamba」を発表した。この構成には、直前ブロックの最後のトークンへの直接アクセス、小規模なスコア補正、直近のトークン頻度を学習して混合する仕組みという、軽量な工夫が3つ加わっている。公開データセットFineWeb-Eduを使ったテストでは、標準的なTransformerやMamba-3の派生モデルを含む12種類のベースラインモデルを、速度と精度の両面で上回った。