Together AI afferma di aver sviluppato un compilatore che ottimizza costantemente l’esecuzione dei modelli AI. Secondo l’azienda, dopo meno di 24 ore di ottimizzazione il throughput è aumentato fino a 2,6× su diversi modelli open. Il sistema, chiamato Together Compiler (TKCC), è già impiegato per i carichi di lavoro dell’azienda, che gestiscono migliaia di miliardi di token.
Il compilatore è progettato per adattarsi ai cambiamenti dei modelli, dei chip e del traffico degli utenti, anziché basarsi su una configurazione fissa. Together afferma di aver testato modelli come Kimi K3, GLM 5.3, MiniMax M3.1-Flash e DeepSeek v4.1-Flash. Il throughput indica quanti token un sistema riesce a elaborare in un dato intervallo di tempo: un throughput più alto può consentire a un provider di gestire più richieste con lo stesso hardware.
Come funziona il compilatore?
TKCC usa agenti AI per proporre e testare modifiche a un motore di inferenza, il software che esegue un modello quando un utente invia una richiesta. L’azienda indica come scelta progettuale fondamentale il mantenimento dei motori di test in esecuzione, invece di riavviarli ogni volta da zero. Nel confronto di Together, avviare un motore richiedeva 467 secondi con il processo abituale, contro i nove secondi di TKCC.
Più agenti lavorano in parallelo a possibili ottimizzazioni, mentre motori persistenti ne testano le proposte. Un livello di test rapido permette di svolgere esperimenti preliminari; uno più lento verifica che le modifiche funzionino anche con una porzione maggiore del modello e con dati di input realistici. Together afferma che questa configurazione ha eseguito gli esperimenti 252 volte più velocemente rispetto ai sistemi di ottimizzazione delle prestazioni basati su agenti usati come riferimento. Si tratta di un confronto interno: l’azienda non ha descritto una verifica indipendente dei risultati.
Che cosa ha testato Together?
Nel benchmark SemiAnalysis InferenceX AgentX, Together dichiara un throughput fino a 2,6× superiore a quello delle migliori configurazioni disponibili dei motori open source usate come riferimento. In un test separato a bassa latenza e con batch size pari a uno, riferisce di aver raggiunto 1,111 token al secondo con MiniMax M3.1-Flash e 1,205 con DeepSeek v4.1-Flash. Sono risultati comunicati da Together, non una valutazione indipendente.
L’azienda dichiara inoltre un throughput 1,7× superiore a quello dei megakernel open source sul carico di lavoro Llama 1B con batch size pari a uno. Oltre ai modelli linguistici, Together afferma che TKCC ha superato l’uso di Claude Code con il comando “/goal” in tre test su quattro, riguardanti la modellazione meteorologica, le equazioni differenziali parziali, le previsioni delle serie temporali e la biologia. Together dichiara che il compilatore è già usato internamente, ma non spiega se o quando sarà accessibile ad altri sviluppatori.
Perché conta
Per i provider di AI, un throughput più alto può significare gestire più richieste con l’hardware esistente o migliorare la velocità di risposta, se decidono di usare la capacità aggiuntiva in questo modo. I risultati dei benchmark sono stati comunicati da Together, che non ha precisato se i clienti o gli sviluppatori esterni potranno usare il compilatore.
