Together AI zegt een compiler te hebben gebouwd die voortdurend bijstelt hoe AI-modellen draaien. Na minder dan 24 uur optimaliseren zou de throughput op verschillende open modellen tot 2,6× hoger liggen. Volgens het bedrijf verwerkt het systeem, Together Compiler (TKCC) genaamd, inmiddels de eigen workloads, goed voor biljoenen tokens.
De compiler is ontworpen om zich aan te passen aan veranderingen in modellen, computerchips en gebruikersverkeer, in plaats van uit te gaan van één vaste configuratie. Together zegt tests te hebben uitgevoerd met onder meer Kimi K3, GLM 5.3, MiniMax M3.1-Flash en DeepSeek v4.1-Flash. Throughput geeft aan hoeveel tokens een systeem in een bepaalde tijd kan verwerken. Een hogere throughput kan ervoor zorgen dat een aanbieder met dezelfde hardware meer verzoeken kan afhandelen.
Hoe werkt de compiler?
TKCC zet AI-agents in om aanpassingen aan een inferentie-engine voor te stellen en te testen. Die software voert een model uit zodra iemand een verzoek stuurt. Volgens Together is een belangrijke ontwerpkeuze dat testengines actief blijven, in plaats van ze telkens opnieuw op te starten. In de vergelijking duurde het opstarten met de gebruikelijke werkwijze 467 seconden, tegenover negen seconden met TKCC.
Meerdere agents werken parallel aan mogelijke optimalisaties, terwijl actieve engines hun voorstellen testen. Een snelle testlaag maakt snelle experimenten mogelijk; een tragere laag controleert of aanpassingen ook werken met een groter deel van het model en realistische invoergegevens. Together zegt dat deze opzet experimenten 252 keer sneller uitvoerde dan bestaande systemen voor agentgestuurde prestatieoptimalisatie. Dit is een interne vergelijking; het bedrijf heeft niet toegelicht of de resultaten onafhankelijk zijn gevalideerd.
Wat heeft Together getest?
Voor de SemiAnalysis InferenceX AgentX-benchmark rapporteert Together een tot 2,6× hogere throughput dan met de beste beschikbare open-source-engineconfiguraties die het als uitgangspunt gebruikte. In een aparte test met lage latentie en batchgrootte één rapporteert het bedrijf 1,111 tokens per seconde voor MiniMax M3.1-Flash en 1,205 voor DeepSeek v4.1-Flash. Dit zijn resultaten van Together, geen onafhankelijke beoordeling.
Het bedrijf meldt ook een 1,7× hogere throughput dan met open-source-megakernels voor de workload met Llama 1B en batchgrootte één. Buiten taalmodellen presteerde TKCC volgens Together beter dan Claude Code met de opdracht ‘/goal’ in drie van de vier tests, op het gebied van weermodellering, partiële differentiaalvergelijkingen, tijdreeksvoorspellingen en biologie. Together zegt de compiler intern te gebruiken, maar legt niet uit of en wanneer andere ontwikkelaars toegang krijgen.
Waarom het ertoe doet
Voor AI-aanbieders kan een hogere throughput betekenen dat ze meer verzoeken op bestaande hardware kunnen afhandelen. Ze kunnen de extra capaciteit ook inzetten om reacties sneller te leveren. De benchmarkresultaten zijn afkomstig van Together zelf; het bedrijf heeft niet gezegd of klanten of externe ontwikkelaars de compiler kunnen gebruiken.
