# Together AI称其编译器可加速AI推理 > Together AI称，其编译器可在24小时内优化推理任务；在测试的开源模型上，吞吐量最高提升2.6倍。 Oossa · 2026-11-04 · https://oossa.com/zh/together-ai-says-its-compiler-speeds-up-ai-inference-3381353 Together AI表示，该公司开发了一款能够持续调整AI模型运行方式的编译器。经过不到24小时的优化，多个开源模型的吞吐量最高提升了2.6倍。该公司称，这套名为Together Compiler（TKCC）的系统已用于处理其自身的工作负载，规模达数万亿个token。 这款编译器旨在适应模型、计算芯片和用户流量的变化，而不是依赖一套固定配置。Together称，测试涵盖了Kimi K3、GLM 5.3、MiniMax M3.1-Flash和DeepSeek v4.1-Flash等模型。吞吐量指系统在一定时间内能够处理的token数量；吞吐量越高，服务商就能用相同的硬件处理更多请求。 ## 这款编译器如何工作？ TKCC利用AI智能体提出并测试对推理引擎的改动。推理引擎是用户发送请求时负责运行模型的软件。Together称，一个关键设计选择是让测试引擎持续运行，而不是每次都从头启动。根据该公司对比，使用常规流程启动引擎需要467秒，而TKCC只需9秒。 多个智能体会并行探索可能的优化方案，持续运行的引擎则负责测试这些方案。快速测试层用于迅速开展实验；较慢的测试层会检查改动能否在模型规模更大、输入数据更贴近实际的情况下继续生效。Together称，与基线智能体性能优化系统相比，这套方案运行实验的速度快了252倍。这是该公司的内部对比；公司未说明结果是否经过独立验证。 ## Together进行了哪些测试？ 在SemiAnalysis InferenceX AgentX基准测试中，Together称，与其选作基线的最佳可用开源引擎配置相比，吞吐量最高提升了2.6倍。在另一项低延迟、批量大小为1的测试中，该公司报告MiniMax M3.1-Flash的速度为每秒1,111个token，DeepSeek v4.1-Flash为每秒1,205个token。这些是Together公布的结果，并非独立评估。 该公司还称，在批量大小为1的Llama 1B工作负载中，其吞吐量比开源megakernels高1.7倍。除了语言模型，Together还表示，在涵盖天气建模、偏微分方程、时间序列预测和生物学的四项测试中，TKCC有三项优于使用Claude Code及其“/goal”命令的表现。Together称该编译器已在内部使用，但没有说明其他开发者能否或何时能够使用。 ## 事实 - Together AI称，在不到24小时的优化后，测试中的开源模型吞吐量最高提升2.6倍。 - Together称，常规流程启动引擎需要467秒，而Together Compiler只需9秒。 - 在其批量大小为1的InferenceX低延迟测试中，Together报告MiniMax M3.1-Flash每秒处理1,111个token，DeepSeek v4.1-Flash每秒处理1,205个token。 - Together称，在批量大小为1的Llama 1B测试中，其吞吐量比开源megakernels高1.7倍。 ## 为什么重要 对AI服务商来说，更高的吞吐量可能意味着用现有硬件处理更多请求；如果选择将新增的处理能力用于此，也可能提升响应速度。Together公布的基准测试结果由公司自行报告，且尚未说明客户或外部开发者能否使用这款编译器。 ## 来源与参考 1. [ResearchTogether Compiler: Continual Compilation for AI inferenceTogether Compiler uses agents and persistent engines to optimize open models in under 24 hours, delivering up to 3.7x higher throughput](https://www.together.ai/blog/together-compiler-continual-compilation-for-ai-inference) – Together AI 2. [Together AI Releases Together Compiler: Agents Make Inference Up to 2.6x Faster](https://www.marktechpost.com/2026/11/05/together-ai-together-compiler-continual-compilation-ai-inference/) – MarkTechPost, 2026-11-05 最后更新: 2026-11-05