Ein Forschungsteam unter Leitung von Hanxin Zhang hat TurboMamba vorgestellt, ein Sprachmodell-Design, das einen globalen Mamba-3-Block mit einem kleinen Transformer für jeden Token-Block kombiniert. Drei einfache Anpassungen ergänzen das Modell: direkter Zugriff auf das letzte Token des vorherigen Blocks, eine kleine Korrektur der Bewertungswerte und eine erlernte Mischung der Häufigkeiten zuletzt verwendeter Tokens. Tests mit dem öffentlich zugänglichen Datensatz FineWeb-Edu zeigen, dass TurboMamba zwölf Basismodelle übertrifft – darunter Standard-Transformer und Mamba-3-Varianten – sowohl bei der Geschwindigkeit als auch bei der Genauigkeit.
Warum es wichtig ist
Forschende können Sprachmodelle schneller und kostengünstiger trainieren und ausführen. Das senkt die Hürde für neue KI-Projekte.
