Together AI zufolge hat das Unternehmen einen Compiler entwickelt, der fortlaufend optimiert, wie KI-Modelle ausgeführt werden. Bei mehreren offenen Modellen sei der Durchsatz nach weniger als 24 Stunden Optimierung um bis zu 2,6× gestiegen. Das System namens Together Compiler (TKCC) bediene bereits die Workloads des Unternehmens, die Billionen von Tokens verarbeiten.
Der Compiler soll sich an Änderungen bei Modellen, Computerchips und Nutzerverkehr anpassen, statt auf einer festen Konfiguration zu beruhen. Together zufolge umfassten die Tests unter anderem die Modelle Kimi K3, GLM 5.3, MiniMax M3.1-Flash und DeepSeek v4.1-Flash. Der Durchsatz gibt an, wie viele Tokens ein System in einer bestimmten Zeit verarbeiten kann. Ein höherer Durchsatz kann es einem Anbieter ermöglichen, auf derselben Hardware mehr Anfragen zu bedienen.
Wie funktioniert der Compiler?
TKCC nutzt KI-Agenten, die Änderungen an einer Inferenz-Engine vorschlagen und testen. Diese Software führt ein Modell aus, sobald jemand eine Anfrage stellt. Eine wichtige Designentscheidung sei gewesen, die Test-Engines weiterlaufen zu lassen, statt sie immer wieder neu zu starten. Laut dem Vergleich dauerte der Start einer Engine mit dem üblichen Verfahren 467 Sekunden, mit TKCC dagegen neun Sekunden.
Mehrere Agenten arbeiten parallel an möglichen Optimierungen, während dauerhaft laufende Engines ihre Vorschläge testen. Eine schnelle Teststufe ermöglicht rasche Experimente; eine langsamere prüft, ob die Änderungen auch mit größeren Teilen des Modells und realistischen Eingabedaten funktionieren. Together zufolge führte diese Konfiguration Experimente 252-mal schneller aus als Systeme zur agentengestützten Leistungsoptimierung, die als Ausgangswert dienten. Dabei handelt es sich um einen internen Vergleich; das Unternehmen hat keine unabhängige Überprüfung der Ergebnisse beschrieben.
Was hat Together getestet?
Für den Benchmark SemiAnalysis InferenceX AgentX meldet Together einen bis zu 2,6× höheren Durchsatz als bei den besten verfügbaren Open-Source-Engine-Konfigurationen, die als Vergleichswerte dienten. Bei einem separaten Latenztest mit Batch-Größe eins meldet das Unternehmen 1,111 Tokens pro Sekunde für MiniMax M3.1-Flash und 1,205 für DeepSeek v4.1-Flash. Das sind Ergebnisse von Together, keine unabhängige Bewertung.
Außerdem meldet das Unternehmen beim Workload Llama 1B mit Batch-Größe eins einen 1,7× höheren Durchsatz als mit Open-Source-Megakernels. Auch außerhalb von Sprachmodellen habe TKCC Claude Code mit dem Befehl „/goal“ bei drei von vier Tests übertroffen – in den Bereichen Wettermodellierung, partielle Differentialgleichungen, Zeitreihenprognosen und Biologie. Together zufolge ist der Compiler intern im Einsatz; ob und wann andere Entwickler darauf zugreifen können, erläutert das Unternehmen nicht.
Warum es wichtig ist
Für KI-Anbieter könnte ein höherer Durchsatz bedeuten, dass sie mit der vorhandenen Hardware mehr Anfragen bedienen können – oder, wenn sie die zusätzliche Kapazität dafür einsetzen, schnellere Antworten liefern. Die Benchmark-Ergebnisse stammen von Together selbst. Das Unternehmen hat nicht mitgeteilt, ob Kunden oder externe Entwickler den Compiler nutzen können.
