# Together AI afirma que su compilador acelera la inferencia de IA

> Together AI afirma que su compilador puede optimizar cargas de inferencia en menos de 24 horas y aumentar hasta 2.6× el rendimiento en los modelos abiertos probados.

Oossa · 2026-11-04 · https://oossa.com/es/together-ai-says-its-compiler-speeds-up-ai-inference-3381353

Together AI afirma que ha creado un compilador que ajusta continuamente la ejecución de los modelos de IA y que, tras menos de 24 horas de optimización, logró aumentar hasta 2.6× el rendimiento en varios modelos abiertos. La empresa dice que el sistema, llamado Together Compiler (TKCC), ya se utiliza para atender sus propias cargas de trabajo, que procesan billones de tokens.

El compilador está diseñado para adaptarse a los cambios en los modelos, los chips y el tráfico de usuarios, en lugar de depender de una única configuración fija. Together afirma que sus pruebas incluyeron modelos como Kimi K3, GLM 5.3, MiniMax M3.1-Flash y DeepSeek v4.1-Flash. El rendimiento se refiere a la cantidad de tokens que un sistema puede procesar en un periodo determinado; un rendimiento mayor puede permitir que un proveedor atienda más solicitudes con el mismo hardware.

## ¿Cómo funciona el compilador?

TKCC utiliza agentes de IA para proponer y probar cambios en un motor de inferencia, el software que ejecuta un modelo cuando alguien le envía una solicitud. La empresa afirma que una decisión clave de diseño fue mantener los motores de prueba en funcionamiento, en vez de iniciarlos repetidamente desde cero. En su comparación, iniciar un motor tardó 467 segundos con el proceso habitual, frente a nueve segundos con TKCC.

Varios agentes trabajan en paralelo para encontrar posibles optimizaciones, mientras los motores persistentes ponen a prueba sus propuestas. Un nivel de pruebas rápido permite hacer experimentos ágiles; otro más lento comprueba si los cambios siguen funcionando con una mayor parte del modelo y con datos de entrada realistas. Together afirma que esta configuración permitió realizar experimentos 252 veces más rápido que los sistemas de referencia de optimización del rendimiento con agentes. Se trata de una comparación interna, y la empresa no ha descrito una validación independiente de los resultados.

## ¿Qué probó Together?

En la prueba de referencia SemiAnalysis InferenceX AgentX, Together informa de un rendimiento hasta 2.6× superior al de las mejores configuraciones de motores de código abierto disponibles que utilizó como referencia. En otra prueba de baja latencia, con tamaño de lote uno, informa de 1,111 tokens por segundo para MiniMax M3.1-Flash y 1,205 para DeepSeek v4.1-Flash. Son resultados de Together, no una evaluación independiente.

La empresa también informa de un rendimiento 1.7× superior al de los megakernels de código abierto en la carga de trabajo Llama 1B, con tamaño de lote uno. Más allá de los modelos de lenguaje, afirma que TKCC superó el uso de Claude Code con el comando “/goal” en tres de cuatro pruebas de modelado meteorológico, ecuaciones diferenciales parciales, predicción de series temporales y biología. Together afirma que el compilador ya se utiliza internamente; no explica si otros desarrolladores podrán acceder a él ni cuándo.

## Los hechos

- Together AI informa de un rendimiento hasta 2.6× superior en los modelos abiertos probados, tras menos de 24 horas de optimización.
- Together compara los tiempos de inicio de los motores: 467 segundos con el proceso habitual y nueve segundos con Together Compiler.
- En sus pruebas de baja latencia de InferenceX con tamaño de lote uno, Together informa de 1,111 tokens por segundo para MiniMax M3.1-Flash y 1,205 para DeepSeek v4.1-Flash.
- Together informa de un rendimiento 1.7× superior al de los megakernels de código abierto en Llama 1B con tamaño de lote uno.

## Por qué importa

Para los proveedores de IA, un mayor rendimiento podría permitir atender más solicitudes con el hardware existente o mejorar la velocidad de respuesta si deciden aprovechar la capacidad adicional de ese modo. Los resultados de las pruebas de referencia son datos publicados por Together, que no ha dicho si sus clientes o desarrolladores externos podrán utilizar el compilador.

## Fuentes y referencias

1. [ResearchTogether Compiler: Continual Compilation for AI inferenceTogether Compiler uses agents and persistent engines to optimize open models in under 24 hours, delivering up to 3.7x higher throughput](https://www.together.ai/blog/together-compiler-continual-compilation-for-ai-inference) – Together AI
2. [Together AI Releases Together Compiler: Agents Make Inference Up to 2.6x Faster](https://www.marktechpost.com/2026/11/05/together-ai-together-compiler-continual-compilation-ai-inference/) – MarkTechPost, 2026-11-05

Última actualización: 2026-11-05