Hanxin Zhang带领的研究团队推出了TurboMamba，这是一种语言模型架构，将全局Mamba-3模块与每个token块对应的小型Transformer结合起来。它还加入了三项轻量改进：直接读取前一个块的最后一个token、进行微小的分数校正，以及学习近期token频率的加权组合。在公开数据集FineWeb-Edu上的测试显示，无论速度还是准确度，TurboMamba都优于12个基线模型，包括标准Transformer和Mamba-3变体。
为什么重要
研究人员可以更快、更低成本地训练和运行语言模型，从而降低启动新AI项目的成本门槛。
