Together AI、AI推論を高速化するコンパイラを発表

Together AIは、AIモデルの実行方法を継続的に調整するコンパイラを開発したと発表した。複数のオープンモデルで、24時間未満の最適化によりスループットが最大2.6倍になったという。同社によると、Together Compiler（TKCC）と呼ばれるこのシステムはすでに自社のワークロードで稼働しており、扱うトークン数は数兆に上る。

このコンパイラは、固定された設定に頼るのではなく、モデルやコンピューターチップ、ユーザーのトラフィックの変化に合わせて調整するよう設計されている。Togetherによると、Kimi K3、GLM 5.3、MiniMax M3.1-Flash、DeepSeek v4.1-Flashなどのモデルでテストした。スループットとは、システムが一定時間内に処理できるトークン数を指す。スループットが高まれば、プロバイダーは同じハードウェアでより多くのリクエストを処理できる。

コンパイラの仕組みは？

TKCCはAIエージェントを使い、推論エンジン（ユーザーからリクエストを受けた際にモデルを実行するソフトウェア）への変更案を作成し、検証する。同社によると、テスト用エンジンを毎回一から起動し直すのではなく、起動したままにしておくことが重要な設計上の工夫だ。比較では、通常の手順でエンジンの起動に467秒かかったのに対し、TKCCでは9秒だった。

複数のエージェントが最適化案を並行して検討し、起動状態を保ったエンジンで案をテストする。高速のテスト層で手早く実験を行い、低速の層ではモデルのより広い範囲と現実的な入力データを使って、変更が引き続き機能するかを確認する。Togetherによると、この仕組みでは、従来のエージェント型パフォーマンス最適化システムと比べて実験を252倍速く実行できた。これは社内比較の結果であり、同社は第三者による検証の有無を明らかにしていない。

Togetherは何をテストした？

SemiAnalysisのInferenceX AgentXベンチマークでは、比較対象として用いた最良の利用可能なオープンソースエンジン構成より、スループットが最大2.6倍になったとTogetherは報告している。別途実施した、バッチサイズ1の低レイテンシテストでは、MiniMax M3.1-Flashで毎秒1,111トークン、DeepSeek v4.1-Flashで毎秒1,205トークンを記録したという。いずれもTogetherによる測定結果で、独立した評価ではない。

同社はまた、Llama 1Bをバッチサイズ1で処理するワークロードにおいて、オープンソースのメガカーネルよりスループットが1.7倍高かったと報告した。言語モデル以外では、気象モデリング、偏微分方程式、時系列予測、生物学に関する4つのテストのうち3つで、Claude Codeの「/goal」コマンドを使う方法をTKCCが上回ったという。Togetherによると、コンパイラは社内で利用されているが、他の開発者がいつ、あるいは利用できるようになるのかは説明していない。