A Together AI afirma ter desenvolvido um compilador que ajusta continuamente a execução de modelos de IA e relata até 2,6× mais throughput em vários modelos abertos após menos de 24 horas de otimização. Segundo a empresa, o sistema, chamado Together Compiler (TKCC), já está sendo usado para atender às suas próprias cargas de trabalho, que processam trilhões de tokens.
O compilador foi projetado para se adaptar a mudanças nos modelos, nos chips e no tráfego de usuários, em vez de depender de uma única configuração fixa. A Together diz que seus testes incluíram modelos como Kimi K3, GLM 5.3, MiniMax M3.1-Flash e DeepSeek v4.1-Flash. Throughput é a quantidade de tokens que um sistema consegue processar em determinado período; um throughput maior pode permitir que um provedor atenda a mais solicitações com o mesmo hardware.
Como funciona o compilador?
O TKCC usa agentes de IA para propor e testar mudanças em um mecanismo de inferência — o software que executa um modelo quando alguém envia uma solicitação. A empresa diz que uma escolha importante de projeto foi manter os mecanismos de teste em execução, em vez de iniciá-los repetidamente do zero. Na comparação apresentada, iniciar um mecanismo levou 467 segundos pelo processo habitual, contra nove segundos com o TKCC.
Vários agentes trabalham em paralelo em possíveis otimizações, enquanto mecanismos persistentes testam as propostas. Uma camada de testes rápida permite fazer experimentos iniciais; uma camada mais lenta verifica se as mudanças continuam funcionando com uma parte maior do modelo e dados de entrada realistas. Segundo a Together, essa configuração executou experimentos 252 vezes mais rápido do que sistemas de referência para otimização de desempenho com agentes. Essa é uma comparação interna, e a empresa não descreveu uma validação independente dos resultados.
O que a Together testou?
No benchmark SemiAnalysis InferenceX AgentX, a Together relata até 2,6× mais throughput do que as melhores configurações de mecanismos de código aberto disponíveis que usou como referência. Em um teste separado de baixa latência, com tamanho de lote igual a um, a empresa relata 1.111 tokens por segundo para o MiniMax M3.1-Flash e 1.205 para o DeepSeek v4.1-Flash. Esses resultados são da Together, não de uma avaliação independente.
A empresa também relata throughput 1,7× maior do que o de megakernels de código aberto na carga de trabalho Llama 1B, com tamanho de lote igual a um. Além dos modelos de linguagem, a Together diz que o TKCC superou o uso do Claude Code com o comando “/goal” em três dos quatro testes, realizados em áreas como modelagem meteorológica, equações diferenciais parciais, previsão de séries temporais e biologia. A empresa afirma que o compilador está em uso interno, mas não explica se ou quando outros desenvolvedores poderão acessá-lo.
Por que importa
Para provedores de IA, um throughput maior pode significar atender a mais solicitações com o hardware existente ou melhorar a velocidade das respostas, caso decidam usar a capacidade extra dessa forma. Os resultados dos benchmarks são divulgados pela própria Together, que não informou se clientes ou desenvolvedores externos poderão usar o compilador.
