# TurboMamba accélère l’entraînement et l’inférence tout en améliorant les prédictions

> Cette nouvelle architecture réduit la perte de prédiction et est jusqu’à 6× plus rapide que les modèles Mamba comparables.

Oossa · 2026-10-16 · https://oossa.com/fr/turbomamba-speeds-up-training-and-inference-improves-prediction

Des chercheurs menés par Hanxin Zhang ont présenté TurboMamba, une architecture de modèle de langage qui associe un bloc Mamba‑3 global à un petit Transformer pour chaque bloc de tokens. Cette combinaison apporte trois ajustements légers : un accès direct au dernier token du bloc précédent, une petite correction du score et un mélange appris des fréquences des tokens récents. Des tests réalisés sur le jeu de données public FineWeb‑Edu montrent que TurboMamba surpasse douze modèles de référence, dont des Transformers classiques et des variantes de Mamba‑3, en vitesse comme en précision.

## Les faits

- La NLL moyenne sur les données de test est inférieure de 9.4% à celle de Mamba‑3, et le débit d’entraînement est 2.60× plus élevé.
- Pour une charge de travail comprenant 32 séquences et 256 tokens d’invite, la latence par lot est réduite d’un facteur 3.12× par rapport à Mamba‑3.

## Pourquoi c'est important

Les chercheurs peuvent entraîner et exécuter des modèles de langage plus rapidement et à moindre coût, ce qui réduit les obstacles financiers à la création de nouveaux projets d’IA.

## Sources et références

1. [TurboMamba: Faster Inference, Faster Training, and Better Prediction with Lexical Memory](https://arxiv.org/abs/2610.20682) – arXiv cs.LG, 2026-10-16

Dernière mise à jour: 2026-10-16