# Together AI заявила об ускорении инференса с помощью компилятора

> По словам Together AI, компилятор оптимизирует задачи инференса менее чем за 24 часа и повышает пропускную способность протестированных открытых моделей до 2,6 раза.

Oossa · 2026-11-04 · https://oossa.com/ru/together-ai-says-its-compiler-speeds-up-ai-inference-3381353

Together AI заявила, что разработала компилятор, который постоянно настраивает работу моделей ИИ. По данным компании, после менее чем 24 часов оптимизации пропускная способность нескольких открытых моделей выросла до 2,6 раза. Система под названием Together Compiler (TKCC) уже обслуживает рабочие нагрузки самой компании — они обрабатывают триллионы токенов.

Компилятор должен подстраиваться под изменения моделей, компьютерных чипов и пользовательского трафика, а не полагаться на одну фиксированную конфигурацию. Together сообщает, что тестировала модели Kimi K3, GLM 5.3, MiniMax M3.1-Flash и DeepSeek v4.1-Flash. Пропускная способность — это количество токенов, которое система может обработать за определённое время. Чем она выше, тем больше запросов провайдер может обслужить на том же оборудовании.

## Как работает компилятор?

TKCC использует ИИ-агентов, чтобы предлагать и тестировать изменения в движке инференса — программном обеспечении, которое запускает модель в ответ на запрос пользователя. По словам компании, важное конструктивное решение — не выключать тестовые движки, а не запускать их каждый раз заново. В сравнении Together запуск движка обычным способом занимал 467 секунд, а с TKCC — девять секунд.

Несколько агентов параллельно ищут возможные оптимизации, а постоянно работающие движки проверяют их предложения. На первом, быстром уровне можно проводить эксперименты, а на втором, более медленном, проверять, сохраняется ли работоспособность изменений при использовании большей части модели и реалистичных входных данных. Together утверждает, что такая система проводила эксперименты в 252 раза быстрее, чем базовые системы оптимизации производительности с ИИ-агентами. Это внутреннее сравнение; компания не сообщала о независимой проверке результатов.

## Что тестировала Together?

В бенчмарке SemiAnalysis InferenceX AgentX Together сообщает о росте пропускной способности до 2,6 раза по сравнению с лучшими доступными конфигурациями движков с открытым исходным кодом, которые использовались в качестве базовых. В отдельном тесте на низкую задержку с размером пакета, равным единице, компания получила 1 111 токенов в секунду для MiniMax M3.1-Flash и 1 205 — для DeepSeek v4.1-Flash. Это результаты Together, а не независимая оценка.

Компания также сообщает о пропускной способности в 1,7 раза выше, чем у мегаядер с открытым исходным кодом, на задаче с Llama 1B и размером пакета, равным единице. Кроме языковых моделей, Together утверждает, что TKCC показал лучшие результаты, чем Claude Code с командой «/goal», в трёх из четырёх тестов по моделированию погоды, уравнениям в частных производных, прогнозированию временных рядов и биологии. По словам Together, компилятор уже используется внутри компании; она не уточняет, смогут ли другие разработчики получить к нему доступ и когда.

## Факты

- По данным Together AI, после менее чем 24 часов оптимизации пропускная способность протестированных открытых моделей выросла до 2,6 раза.
- Together сравнивает время запуска движка: 467 секунд при обычном процессе и девять секунд с Together Compiler.
- В тестах InferenceX на низкую задержку с размером пакета, равным единице, Together сообщает о скорости 1 111 токенов в секунду для MiniMax M3.1-Flash и 1 205 — для DeepSeek v4.1-Flash.
- Together сообщает о пропускной способности в 1,7 раза выше, чем у мегаядер с открытым исходным кодом, на Llama 1B с размером пакета, равным единице.

## Почему это важно

Для провайдеров ИИ более высокая пропускная способность может означать возможность обслуживать больше запросов на уже имеющемся оборудовании или быстрее отвечать на запросы, если направить на это дополнительные ресурсы. Результаты тестов приводит сама Together; компания не сообщила, смогут ли клиенты или сторонние разработчики пользоваться компилятором.

## Источники и ссылки

1. [ResearchTogether Compiler: Continual Compilation for AI inferenceTogether Compiler uses agents and persistent engines to optimize open models in under 24 hours, delivering up to 3.7x higher throughput](https://www.together.ai/blog/together-compiler-continual-compilation-for-ai-inference) – Together AI
2. [Together AI Releases Together Compiler: Agents Make Inference Up to 2.6x Faster](https://www.marktechpost.com/2026/11/05/together-ai-together-compiler-continual-compilation-ai-inference/) – MarkTechPost, 2026-11-05

Обновлено: 2026-11-05