# Together AI: il compilatore accelera l’inferenza AI

> Together AI afferma che il suo compilatore può ottimizzare i carichi di lavoro di inferenza in meno di 24 ore, aumentando fino a 2,6× il throughput sui modelli open testati.

Oossa · 2026-11-04 · https://oossa.com/it/together-ai-says-its-compiler-speeds-up-ai-inference-3381353

Together AI afferma di aver sviluppato un compilatore che ottimizza costantemente l’esecuzione dei modelli AI. Secondo l’azienda, dopo meno di 24 ore di ottimizzazione il throughput è aumentato fino a 2,6× su diversi modelli open. Il sistema, chiamato Together Compiler (TKCC), è già impiegato per i carichi di lavoro dell’azienda, che gestiscono migliaia di miliardi di token.

Il compilatore è progettato per adattarsi ai cambiamenti dei modelli, dei chip e del traffico degli utenti, anziché basarsi su una configurazione fissa. Together afferma di aver testato modelli come Kimi K3, GLM 5.3, MiniMax M3.1-Flash e DeepSeek v4.1-Flash. Il throughput indica quanti token un sistema riesce a elaborare in un dato intervallo di tempo: un throughput più alto può consentire a un provider di gestire più richieste con lo stesso hardware.

## Come funziona il compilatore?

TKCC usa agenti AI per proporre e testare modifiche a un motore di inferenza, il software che esegue un modello quando un utente invia una richiesta. L’azienda indica come scelta progettuale fondamentale il mantenimento dei motori di test in esecuzione, invece di riavviarli ogni volta da zero. Nel confronto di Together, avviare un motore richiedeva 467 secondi con il processo abituale, contro i nove secondi di TKCC.

Più agenti lavorano in parallelo a possibili ottimizzazioni, mentre motori persistenti ne testano le proposte. Un livello di test rapido permette di svolgere esperimenti preliminari; uno più lento verifica che le modifiche funzionino anche con una porzione maggiore del modello e con dati di input realistici. Together afferma che questa configurazione ha eseguito gli esperimenti 252 volte più velocemente rispetto ai sistemi di ottimizzazione delle prestazioni basati su agenti usati come riferimento. Si tratta di un confronto interno: l’azienda non ha descritto una verifica indipendente dei risultati.

## Che cosa ha testato Together?

Nel benchmark SemiAnalysis InferenceX AgentX, Together dichiara un throughput fino a 2,6× superiore a quello delle migliori configurazioni disponibili dei motori open source usate come riferimento. In un test separato a bassa latenza e con batch size pari a uno, riferisce di aver raggiunto 1,111 token al secondo con MiniMax M3.1-Flash e 1,205 con DeepSeek v4.1-Flash. Sono risultati comunicati da Together, non una valutazione indipendente.

L’azienda dichiara inoltre un throughput 1,7× superiore a quello dei megakernel open source sul carico di lavoro Llama 1B con batch size pari a uno. Oltre ai modelli linguistici, Together afferma che TKCC ha superato l’uso di Claude Code con il comando “/goal” in tre test su quattro, riguardanti la modellazione meteorologica, le equazioni differenziali parziali, le previsioni delle serie temporali e la biologia. Together dichiara che il compilatore è già usato internamente, ma non spiega se o quando sarà accessibile ad altri sviluppatori.

## I fatti

- Together AI dichiara un throughput fino a 2,6× superiore sui modelli open testati, dopo meno di 24 ore di ottimizzazione.
- Together confronta i tempi di avvio dei motori: 467 secondi con il processo abituale e nove secondi con Together Compiler.
- Nei test InferenceX a bassa latenza e con batch size pari a uno, Together dichiara 1,111 token al secondo per MiniMax M3.1-Flash e 1,205 per DeepSeek v4.1-Flash.
- Together dichiara un throughput 1,7× superiore a quello dei megakernel open source con Llama 1B e batch size pari a uno.

## Perché conta

Per i provider di AI, un throughput più alto può significare gestire più richieste con l’hardware esistente o migliorare la velocità di risposta, se decidono di usare la capacità aggiuntiva in questo modo. I risultati dei benchmark sono stati comunicati da Together, che non ha precisato se i clienti o gli sviluppatori esterni potranno usare il compilatore.

## Fonti e riferimenti

1. [ResearchTogether Compiler: Continual Compilation for AI inferenceTogether Compiler uses agents and persistent engines to optimize open models in under 24 hours, delivering up to 3.7x higher throughput](https://www.together.ai/blog/together-compiler-continual-compilation-for-ai-inference) – Together AI
2. [Together AI Releases Together Compiler: Agents Make Inference Up to 2.6x Faster](https://www.marktechpost.com/2026/11/05/together-ai-together-compiler-continual-compilation-ai-inference/) – MarkTechPost, 2026-11-05

Ultimo aggiornamento: 2026-11-05