Together AI affirme avoir créé un compilateur qui ajuste en continu l’exécution des modèles d’IA. Selon l’entreprise, après moins de 24 heures d’optimisation, le débit a augmenté jusqu’à 2,6× sur plusieurs modèles ouverts. Elle indique que ce système, appelé Together Compiler (TKCC), est déjà utilisé pour ses propres charges de travail, qui traitent des milliers de milliards de tokens.
Le compilateur est conçu pour s’adapter aux évolutions des modèles, des puces informatiques et du trafic des utilisateurs, plutôt que de s’appuyer sur une configuration fixe. Together indique avoir testé notamment Kimi K3, GLM 5.3, MiniMax M3.1-Flash et DeepSeek v4.1-Flash. Le débit correspond au nombre de tokens qu’un système peut traiter dans un laps de temps donné ; un débit plus élevé peut permettre à un fournisseur de traiter davantage de requêtes avec le même matériel.
Comment fonctionne le compilateur ?
TKCC fait appel à des agents d’IA pour proposer et tester des modifications du moteur d’inférence, le logiciel qui exécute un modèle lorsqu’un utilisateur lui envoie une requête. Selon l’entreprise, un choix de conception essentiel consiste à laisser les moteurs de test actifs au lieu de les redémarrer à chaque fois. Dans sa comparaison, le démarrage d’un moteur prenait 467 secondes avec la méthode habituelle, contre neuf secondes avec TKCC.
Plusieurs agents travaillent en parallèle sur des optimisations possibles, tandis que des moteurs maintenus en fonctionnement testent leurs propositions. Une phase de test rapide permet de mener des expériences à la volée ; une phase plus lente vérifie que les modifications fonctionnent toujours avec une plus grande partie du modèle et des données d’entrée réalistes. Together affirme que cette configuration a permis de mener les expériences 252 fois plus vite que les systèmes de référence d’optimisation des performances par agents. Il s’agit d’une comparaison interne, et l’entreprise n’a pas fait état d’une validation indépendante des résultats.
Quels tests Together a-t-elle réalisés ?
Pour le benchmark InferenceX AgentX de SemiAnalysis, Together annonce un débit jusqu’à 2,6× supérieur à celui des meilleures configurations de moteurs open source disponibles qu’elle a utilisées comme référence. Dans un test distinct à faible latence et avec une taille de lot de un, elle annonce 1,111 tokens par seconde pour MiniMax M3.1-Flash et 1,205 pour DeepSeek v4.1-Flash. Ces résultats sont ceux de Together, et non ceux d’une évaluation indépendante.
L’entreprise fait également état d’un débit 1,7× supérieur à celui de méganoyaux open source sur la charge de travail Llama 1B, avec une taille de lot de un. Au-delà des modèles de langage, elle affirme que TKCC a fait mieux que Claude Code avec sa commande « /goal » lors de trois tests sur quatre portant sur la modélisation météorologique, les équations aux dérivées partielles, la prévision de séries temporelles et la biologie. Together indique que le compilateur est utilisé en interne, sans préciser si ni quand d’autres développeurs pourront y accéder.
Pourquoi c'est important
Pour les fournisseurs d’IA, un débit plus élevé pourrait permettre de traiter davantage de requêtes avec le matériel existant, ou d’améliorer la vitesse de réponse s’ils choisissent d’utiliser cette capacité supplémentaire à cette fin. Les résultats des benchmarks sont communiqués par Together, qui n’a pas précisé si ses clients ou des développeurs externes pourront utiliser le compilateur.
