# Together AI, AI 추론 속도 높이는 컴파일러 공개

> Together AI는 자사 컴파일러가 24시간도 안 돼 추론 작업을 최적화하고, 테스트한 오픈 모델에서 처리량을 최대 2.6배 높일 수 있다고 밝혔다.

Oossa · 2026-11-04 · https://oossa.com/ko/together-ai-says-its-compiler-speeds-up-ai-inference-3381353

Together AI는 AI 모델의 실행 방식을 지속적으로 조정하는 컴파일러를 개발했다고 밝혔다. 오픈 모델 여러 개를 24시간도 안 돼 최적화한 결과, 처리량이 최대 2.6배 높아졌다는 설명이다. 회사에 따르면 Together Compiler(TKCC)라는 이름의 이 시스템은 이미 자사 서비스에 적용돼 있으며, 해당 서비스는 수조 개의 토큰을 처리한다.

이 컴파일러는 하나의 고정된 설정에 의존하는 대신 모델과 컴퓨터 칩, 사용자 트래픽의 변화에 맞춰 조정하도록 설계됐다. Together는 Kimi K3, GLM 5.3, MiniMax M3.1-Flash, DeepSeek v4.1-Flash 등을 대상으로 테스트했다고 밝혔다. 처리량은 시스템이 일정 시간 동안 처리할 수 있는 토큰 수를 뜻한다. 처리량이 높으면 같은 하드웨어로 더 많은 요청을 처리할 수 있다.

## 컴파일러는 어떻게 작동하나?

TKCC는 AI 에이전트를 활용해 추론 엔진의 변경안을 제안하고 테스트한다. 추론 엔진은 사용자가 요청을 보냈을 때 모델을 실행하는 소프트웨어다. Together는 엔진을 매번 처음부터 다시 실행하는 대신 계속 켜 둔 것이 핵심 설계라고 설명했다. 회사가 비교한 결과, 일반적인 방식으로 엔진을 시작하는 데는 467초가 걸렸지만 TKCC에서는 9초가 걸렸다.

여러 에이전트가 가능한 최적화 방안을 동시에 검토하고, 계속 실행 중인 엔진이 이를 테스트한다. 빠른 테스트 단계에서는 신속하게 실험하고, 시간이 더 걸리는 단계에서는 모델의 더 많은 부분과 실제에 가까운 입력 데이터를 사용해 변경 사항이 제대로 작동하는지 확인한다. Together는 이 방식으로 기준이 되는 에이전트 기반 성능 최적화 시스템보다 실험 속도가 252배 빨랐다고 밝혔다. 이는 회사 내부 비교 결과이며, 독립적인 검증을 받았는지는 밝히지 않았다.

## Together는 무엇을 테스트했나?

SemiAnalysis InferenceX AgentX 벤치마크에서 Together는 비교 기준으로 삼은 당시 이용 가능한 최상의 오픈소스 엔진 구성보다 처리량이 최대 2.6배 높았다고 밝혔다. 별도로 지연 시간을 낮추고 배치 크기를 1로 설정한 테스트에서는 MiniMax M3.1-Flash가 초당 1,111토큰, DeepSeek v4.1-Flash가 초당 1,205토큰을 처리했다고 보고했다. 모두 Together가 자체적으로 낸 결과로, 독립적인 평가를 거친 것은 아니다.

회사는 배치 크기 1의 Llama 1B 작업에서도 오픈소스 메가커널보다 처리량이 1.7배 높았다고 밝혔다. 언어 모델 외에도 TKCC가 날씨 모델링, 편미분방정식, 시계열 예측, 생물학 분야의 테스트 4개 중 3개에서 Claude Code의 “/goal” 명령을 사용한 방식보다 나은 성능을 냈다고 설명했다. Together는 이 컴파일러를 내부적으로 사용 중이라고 밝혔지만, 다른 개발자가 이용할 수 있는지 또는 언제 이용할 수 있을지는 설명하지 않았다.

## 팩트

- Together AI는 테스트한 오픈 모델을 24시간도 안 돼 최적화한 결과 처리량이 최대 2.6배 높아졌다고 밝혔다.
- Together는 엔진 시작 시간이 일반적인 방식에서는 467초, Together Compiler에서는 9초라고 비교했다.
- 배치 크기를 1로 설정한 InferenceX 저지연 테스트에서 Together는 MiniMax M3.1-Flash가 초당 1,111토큰, DeepSeek v4.1-Flash가 초당 1,205토큰을 처리했다고 밝혔다.
- Together는 배치 크기 1의 Llama 1B 작업에서 오픈소스 메가커널보다 처리량이 1.7배 높았다고 밝혔다.

## 왜 중요한가

AI 서비스 제공업체는 처리량을 높여 기존 하드웨어로 더 많은 요청을 처리할 수 있다. 늘어난 여력을 활용하면 응답 속도를 높이는 것도 가능하다. 다만 벤치마크 결과는 Together가 자체적으로 밝힌 것이며, 고객이나 외부 개발자가 이 컴파일러를 사용할 수 있는지는 아직 공개되지 않았다.

## 출처 및 참고 자료

1. [ResearchTogether Compiler: Continual Compilation for AI inferenceTogether Compiler uses agents and persistent engines to optimize open models in under 24 hours, delivering up to 3.7x higher throughput](https://www.together.ai/blog/together-compiler-continual-compilation-for-ai-inference) – Together AI
2. [Together AI Releases Together Compiler: Agents Make Inference Up to 2.6x Faster](https://www.marktechpost.com/2026/11/05/together-ai-together-compiler-continual-compilation-ai-inference/) – MarkTechPost, 2026-11-05

최종 업데이트: 2026-11-05