# TurboMamba、学習と推論を高速化し予測精度も向上

> 新しいTurboMambaアーキテクチャは予測損失を低減し、同等のMambaベースモデルより最大6倍高速に動作する。

Oossa · 2026-10-16 · https://oossa.com/ja/turbomamba-speeds-up-training-and-inference-improves-prediction

Hanxin Zhang氏率いる研究チームは、各トークンブロックに小型Transformerを組み合わせた、グローバルなMamba-3ブロックを備える言語モデル設計「TurboMamba」を発表した。この構成には、直前ブロックの最後のトークンへの直接アクセス、小規模なスコア補正、直近のトークン頻度を学習して混合する仕組みという、軽量な工夫が3つ加わっている。公開データセットFineWeb-Eduを使ったテストでは、標準的なTransformerやMamba-3の派生モデルを含む12種類のベースラインモデルを、速度と精度の両面で上回った。

## 事実

- テスト時の平均NLLはMamba-3より9.4%低く、学習スループットは2.60倍高い。
- プロンプトが256トークンの系列を32本処理する場合、バッチ遅延はMamba-3より3.12倍高速。

## なぜ重要か

研究者は言語モデルをより速く、低コストで学習・実行できるため、新たなAIプロジェクトに取り組む際の費用の壁が下がる。

## 出典と参考資料

1. [TurboMamba: Faster Inference, Faster Training, and Better Prediction with Lexical Memory](https://arxiv.org/abs/2610.20682) – arXiv cs.LG, 2026-10-16

最終更新: 2026-10-16