Des chercheurs menés par Hanxin Zhang ont présenté TurboMamba, une architecture de modèle de langage qui associe un bloc Mamba‑3 global à un petit Transformer pour chaque bloc de tokens. Cette combinaison apporte trois ajustements légers : un accès direct au dernier token du bloc précédent, une petite correction du score et un mélange appris des fréquences des tokens récents. Des tests réalisés sur le jeu de données public FineWeb‑Edu montrent que TurboMamba surpasse douze modèles de référence, dont des Transformers classiques et des variantes de Mamba‑3, en vitesse comme en précision.
Pourquoi c'est important
Les chercheurs peuvent entraîner et exécuter des modèles de langage plus rapidement et à moindre coût, ce qui réduit les obstacles financiers à la création de nouveaux projets d’IA.
