Исследователи под руководством Ханьсинь Чжана представили TurboMamba — архитектуру языковой модели, в которой глобальный блок Mamba‑3 сочетается с небольшим Transformer для каждого блока токенов. В неё добавили три лёгких улучшения: прямой доступ к последнему токену предыдущего блока, небольшую коррекцию оценки и обучаемое смешивание частот недавних токенов. Тесты на общедоступном наборе данных FineWeb‑Edu показали, что TurboMamba превосходит двенадцать базовых моделей, включая стандартные Transformer и варианты Mamba‑3, как по скорости, так и по точности.
Почему это важно
Исследователи смогут быстрее и дешевле обучать языковые модели и запускать их, что снизит финансовый порог для новых ИИ-проектов.
