# Together AI、AI推論を高速化するコンパイラを発表

> Together AIによると、コンパイラは24時間未満で推論処理を最適化し、テストしたオープンモデルでスループットを最大2.6倍に高めるという。

Oossa · 2026-11-04 · https://oossa.com/ja/together-ai-says-its-compiler-speeds-up-ai-inference-3381353

Together AIは、AIモデルの実行方法を継続的に調整するコンパイラを開発したと発表した。複数のオープンモデルで、24時間未満の最適化によりスループットが最大2.6倍になったという。同社によると、Together Compiler（TKCC）と呼ばれるこのシステムはすでに自社のワークロードで稼働しており、扱うトークン数は数兆に上る。

このコンパイラは、固定された設定に頼るのではなく、モデルやコンピューターチップ、ユーザーのトラフィックの変化に合わせて調整するよう設計されている。Togetherによると、Kimi K3、GLM 5.3、MiniMax M3.1-Flash、DeepSeek v4.1-Flashなどのモデルでテストした。スループットとは、システムが一定時間内に処理できるトークン数を指す。スループットが高まれば、プロバイダーは同じハードウェアでより多くのリクエストを処理できる。

## コンパイラの仕組みは？

TKCCはAIエージェントを使い、推論エンジン（ユーザーからリクエストを受けた際にモデルを実行するソフトウェア）への変更案を作成し、検証する。同社によると、テスト用エンジンを毎回一から起動し直すのではなく、起動したままにしておくことが重要な設計上の工夫だ。比較では、通常の手順でエンジンの起動に467秒かかったのに対し、TKCCでは9秒だった。

複数のエージェントが最適化案を並行して検討し、起動状態を保ったエンジンで案をテストする。高速のテスト層で手早く実験を行い、低速の層ではモデルのより広い範囲と現実的な入力データを使って、変更が引き続き機能するかを確認する。Togetherによると、この仕組みでは、従来のエージェント型パフォーマンス最適化システムと比べて実験を252倍速く実行できた。これは社内比較の結果であり、同社は第三者による検証の有無を明らかにしていない。

## Togetherは何をテストした？

SemiAnalysisのInferenceX AgentXベンチマークでは、比較対象として用いた最良の利用可能なオープンソースエンジン構成より、スループットが最大2.6倍になったとTogetherは報告している。別途実施した、バッチサイズ1の低レイテンシテストでは、MiniMax M3.1-Flashで毎秒1,111トークン、DeepSeek v4.1-Flashで毎秒1,205トークンを記録したという。いずれもTogetherによる測定結果で、独立した評価ではない。

同社はまた、Llama 1Bをバッチサイズ1で処理するワークロードにおいて、オープンソースのメガカーネルよりスループットが1.7倍高かったと報告した。言語モデル以外では、気象モデリング、偏微分方程式、時系列予測、生物学に関する4つのテストのうち3つで、Claude Codeの「/goal」コマンドを使う方法をTKCCが上回ったという。Togetherによると、コンパイラは社内で利用されているが、他の開発者がいつ、あるいは利用できるようになるのかは説明していない。

## 事実

- Together AIによると、テストしたオープンモデルで、24時間未満の最適化によりスループットが最大2.6倍になった。
- Togetherはエンジンの起動時間について、通常の手順では467秒、Together Compilerでは9秒と比較している。
- バッチサイズ1のInferenceX低レイテンシテストで、TogetherはMiniMax M3.1-Flashで毎秒1,111トークン、DeepSeek v4.1-Flashで毎秒1,205トークンを記録したと報告している。
- Togetherによると、Llama 1Bをバッチサイズ1で処理した場合、オープンソースのメガカーネルよりスループットが1.7倍高かった。

## なぜ重要か

AIプロバイダーにとって、スループットの向上は、既存のハードウェアでより多くのリクエストを処理できることを意味する。また、増えた処理能力をそのように活用するかどうかによっては、応答速度の改善にもつながり得る。Togetherが公表したベンチマーク結果は同社によるもので、顧客や外部の開発者がこのコンパイラを利用できるかどうかは明らかにされていない。

## 出典と参考資料

1. [ResearchTogether Compiler: Continual Compilation for AI inferenceTogether Compiler uses agents and persistent engines to optimize open models in under 24 hours, delivering up to 3.7x higher throughput](https://www.together.ai/blog/together-compiler-continual-compilation-for-ai-inference) – Together AI
2. [Together AI Releases Together Compiler: Agents Make Inference Up to 2.6x Faster](https://www.marktechpost.com/2026/11/05/together-ai-together-compiler-continual-compilation-ai-inference/) – MarkTechPost, 2026-11-05

最終更新: 2026-11-05