# TurboMamba加快训练与推理，提升预测能力

> 这种新架构可降低预测损失，运行速度最高是同类Mamba模型的6倍。

Oossa · 2026-10-16 · https://oossa.com/zh/turbomamba-speeds-up-training-and-inference-improves-prediction

Hanxin Zhang带领的研究团队推出了TurboMamba，这是一种语言模型架构，将全局Mamba-3模块与每个token块对应的小型Transformer结合起来。它还加入了三项轻量改进：直接读取前一个块的最后一个token、进行微小的分数校正，以及学习近期token频率的加权组合。在公开数据集FineWeb-Edu上的测试显示，无论速度还是准确度，TurboMamba都优于12个基线模型，包括标准Transformer和Mamba-3变体。

## 事实

- 测试平均负对数似然（NLL）比Mamba-3低9.4%，训练吞吐量则高出2.60倍。
- 在包含32个序列、每个提示含256个token的工作负载下，批处理延迟速度比Mamba-3快3.12倍。

## 为什么重要

研究人员可以更快、更低成本地训练和运行语言模型，从而降低启动新AI项目的成本门槛。

## 来源与参考

1. [TurboMamba: Faster Inference, Faster Training, and Better Prediction with Lexical Memory](https://arxiv.org/abs/2610.20682) – arXiv cs.LG, 2026-10-16

最后更新: 2026-10-16