# Together AI affirme accélérer l’inférence grâce à son compilateur

> Together AI affirme que son compilateur optimise les tâches d’inférence en moins de 24 heures et augmente jusqu’à 2,6× le débit des modèles ouverts testés.

Oossa · 2026-11-04 · https://oossa.com/fr/together-ai-says-its-compiler-speeds-up-ai-inference-3381353

Together AI affirme avoir créé un compilateur qui ajuste en continu l’exécution des modèles d’IA. Selon l’entreprise, après moins de 24 heures d’optimisation, le débit a augmenté jusqu’à 2,6× sur plusieurs modèles ouverts. Elle indique que ce système, appelé Together Compiler (TKCC), est déjà utilisé pour ses propres charges de travail, qui traitent des milliers de milliards de tokens.

Le compilateur est conçu pour s’adapter aux évolutions des modèles, des puces informatiques et du trafic des utilisateurs, plutôt que de s’appuyer sur une configuration fixe. Together indique avoir testé notamment Kimi K3, GLM 5.3, MiniMax M3.1-Flash et DeepSeek v4.1-Flash. Le débit correspond au nombre de tokens qu’un système peut traiter dans un laps de temps donné ; un débit plus élevé peut permettre à un fournisseur de traiter davantage de requêtes avec le même matériel.

## Comment fonctionne le compilateur ?

TKCC fait appel à des agents d’IA pour proposer et tester des modifications du moteur d’inférence, le logiciel qui exécute un modèle lorsqu’un utilisateur lui envoie une requête. Selon l’entreprise, un choix de conception essentiel consiste à laisser les moteurs de test actifs au lieu de les redémarrer à chaque fois. Dans sa comparaison, le démarrage d’un moteur prenait 467 secondes avec la méthode habituelle, contre neuf secondes avec TKCC.

Plusieurs agents travaillent en parallèle sur des optimisations possibles, tandis que des moteurs maintenus en fonctionnement testent leurs propositions. Une phase de test rapide permet de mener des expériences à la volée ; une phase plus lente vérifie que les modifications fonctionnent toujours avec une plus grande partie du modèle et des données d’entrée réalistes. Together affirme que cette configuration a permis de mener les expériences 252 fois plus vite que les systèmes de référence d’optimisation des performances par agents. Il s’agit d’une comparaison interne, et l’entreprise n’a pas fait état d’une validation indépendante des résultats.

## Quels tests Together a-t-elle réalisés ?

Pour le benchmark InferenceX AgentX de SemiAnalysis, Together annonce un débit jusqu’à 2,6× supérieur à celui des meilleures configurations de moteurs open source disponibles qu’elle a utilisées comme référence. Dans un test distinct à faible latence et avec une taille de lot de un, elle annonce 1,111 tokens par seconde pour MiniMax M3.1-Flash et 1,205 pour DeepSeek v4.1-Flash. Ces résultats sont ceux de Together, et non ceux d’une évaluation indépendante.

L’entreprise fait également état d’un débit 1,7× supérieur à celui de méganoyaux open source sur la charge de travail Llama 1B, avec une taille de lot de un. Au-delà des modèles de langage, elle affirme que TKCC a fait mieux que Claude Code avec sa commande « /goal » lors de trois tests sur quatre portant sur la modélisation météorologique, les équations aux dérivées partielles, la prévision de séries temporelles et la biologie. Together indique que le compilateur est utilisé en interne, sans préciser si ni quand d’autres développeurs pourront y accéder.

## Les faits

- Together AI annonce une hausse du débit pouvant atteindre 2,6× sur les modèles ouverts testés, après moins de 24 heures d’optimisation.
- Together compare le démarrage d’un moteur : 467 secondes avec la méthode habituelle, contre neuf secondes avec Together Compiler.
- Lors de ses tests InferenceX à faible latence et avec une taille de lot de un, Together annonce 1,111 tokens par seconde pour MiniMax M3.1-Flash et 1,205 pour DeepSeek v4.1-Flash.
- Together annonce un débit 1,7× supérieur à celui de méganoyaux open source sur Llama 1B, avec une taille de lot de un.

## Pourquoi c'est important

Pour les fournisseurs d’IA, un débit plus élevé pourrait permettre de traiter davantage de requêtes avec le matériel existant, ou d’améliorer la vitesse de réponse s’ils choisissent d’utiliser cette capacité supplémentaire à cette fin. Les résultats des benchmarks sont communiqués par Together, qui n’a pas précisé si ses clients ou des développeurs externes pourront utiliser le compilateur.

## Sources et références

1. [ResearchTogether Compiler: Continual Compilation for AI inferenceTogether Compiler uses agents and persistent engines to optimize open models in under 24 hours, delivering up to 3.7x higher throughput](https://www.together.ai/blog/together-compiler-continual-compilation-for-ai-inference) – Together AI
2. [Together AI Releases Together Compiler: Agents Make Inference Up to 2.6x Faster](https://www.marktechpost.com/2026/11/05/together-ai-together-compiler-continual-compilation-ai-inference/) – MarkTechPost, 2026-11-05

Dernière mise à jour: 2026-11-05