Together AI表示，该公司开发了一款能够持续调整AI模型运行方式的编译器。经过不到24小时的优化，多个开源模型的吞吐量最高提升了2.6倍。该公司称，这套名为Together Compiler（TKCC）的系统已用于处理其自身的工作负载，规模达数万亿个token。
这款编译器旨在适应模型、计算芯片和用户流量的变化，而不是依赖一套固定配置。Together称，测试涵盖了Kimi K3、GLM 5.3、MiniMax M3.1-Flash和DeepSeek v4.1-Flash等模型。吞吐量指系统在一定时间内能够处理的token数量；吞吐量越高，服务商就能用相同的硬件处理更多请求。
这款编译器如何工作？
TKCC利用AI智能体提出并测试对推理引擎的改动。推理引擎是用户发送请求时负责运行模型的软件。Together称，一个关键设计选择是让测试引擎持续运行，而不是每次都从头启动。根据该公司对比，使用常规流程启动引擎需要467秒，而TKCC只需9秒。
多个智能体会并行探索可能的优化方案，持续运行的引擎则负责测试这些方案。快速测试层用于迅速开展实验；较慢的测试层会检查改动能否在模型规模更大、输入数据更贴近实际的情况下继续生效。Together称，与基线智能体性能优化系统相比，这套方案运行实验的速度快了252倍。这是该公司的内部对比；公司未说明结果是否经过独立验证。
Together进行了哪些测试？
在SemiAnalysis InferenceX AgentX基准测试中，Together称，与其选作基线的最佳可用开源引擎配置相比，吞吐量最高提升了2.6倍。在另一项低延迟、批量大小为1的测试中，该公司报告MiniMax M3.1-Flash的速度为每秒1,111个token，DeepSeek v4.1-Flash为每秒1,205个token。这些是Together公布的结果，并非独立评估。
该公司还称，在批量大小为1的Llama 1B工作负载中，其吞吐量比开源megakernels高1.7倍。除了语言模型，Together还表示，在涵盖天气建模、偏微分方程、时间序列预测和生物学的四项测试中，TKCC有三项优于使用Claude Code及其“/goal”命令的表现。Together称该编译器已在内部使用，但没有说明其他开发者能否或何时能够使用。
为什么重要
对AI服务商来说，更高的吞吐量可能意味着用现有硬件处理更多请求；如果选择将新增的处理能力用于此，也可能提升响应速度。Together公布的基准测试结果由公司自行报告，且尚未说明客户或外部开发者能否使用这款编译器。
