# Together AI säger att kompilatorn snabbar upp AI-inferens

> Together AI uppger att kompilatorn kan optimera inferensjobb på under 24 timmar och ge upp till 2,6× högre genomströmning på testade öppna modeller.

Oossa · 2026-11-04 · https://oossa.com/sv/together-ai-says-its-compiler-speeds-up-ai-inference-3381353

Together AI uppger att företaget har utvecklat en kompilator som löpande finjusterar hur AI-modeller körs. Enligt företaget gav mindre än 24 timmars optimering upp till 2,6× högre genomströmning på flera öppna modeller. Systemet, som heter Together Compiler (TKCC), används redan för företagets egna arbetslaster, som hanterar biljoner token.

Kompilatorn är utformad för att anpassa sig till förändringar i modeller, datorchip och användartrafik i stället för att förlita sig på en fast konfiguration. Together uppger att testerna omfattade bland annat modellerna Kimi K3, GLM 5.3, MiniMax M3.1-Flash och DeepSeek v4.1-Flash. Genomströmning avser hur många token ett system kan behandla över tid. Högre genomströmning kan göra att en leverantör kan hantera fler förfrågningar med samma hårdvara.

## Hur fungerar kompilatorn?

TKCC använder AI-agenter för att föreslå och testa ändringar i en inferensmotor – den programvara som kör en modell när någon skickar en förfrågan. Enligt företaget är ett viktigt designval att låta testmotorerna fortsätta vara igång i stället för att starta om dem från början varje gång. I företagets jämförelse tog det 467 sekunder att starta en motor med den vanliga metoden, jämfört med nio sekunder med TKCC.

Flera agenter arbetar parallellt med möjliga optimeringar, medan motorer som hålls igång testar förslagen. En snabb testnivå möjliggör snabba experiment, medan en långsammare nivå kontrollerar att ändringarna fortfarande fungerar med en större del av modellen och realistiska indata. Together uppger att den här lösningen genomförde experiment 252 gånger snabbare än grundnivån för agentbaserade system för prestandaoptimering. Det är en intern jämförelse, och företaget har inte beskrivit någon oberoende validering av resultaten.

## Vad testade Together?

I benchmarktestet SemiAnalysis InferenceX AgentX uppger Together att genomströmningen var upp till 2,6× högre än med de bästa tillgängliga konfigurationerna av open source-motorer som företaget använde som jämförelse. I ett separat test med låg latens och batchstorlek ett uppmätte företaget 1,111 token per sekund för MiniMax M3.1-Flash och 1,205 för DeepSeek v4.1-Flash. Det här är Togethers resultat, inte en oberoende utvärdering.

Företaget uppger också 1,7× högre genomströmning än med open source-megakärnor i arbetslasten Llama 1B med batchstorlek ett. Utöver språkmodeller säger Together att TKCC presterade bättre än Claude Code med kommandot ”/goal” i tre av fyra tester inom vädermodellering, partiella differentialekvationer, tidsserieprognoser och biologi. Together uppger att kompilatorn används internt, men förklarar inte om eller när andra utvecklare kan få tillgång till den.

## Fakta

- Together AI uppger att genomströmningen ökade med upp till 2,6× på testade öppna modeller efter mindre än 24 timmars optimering.
- Together jämför starttider för motorer på 467 sekunder med den vanliga metoden och nio sekunder med Together Compiler.
- I Togethers låg-latens-tester med batchstorlek ett i InferenceX uppmättes 1,111 token per sekund för MiniMax M3.1-Flash och 1,205 för DeepSeek v4.1-Flash.
- Together uppger 1,7× högre genomströmning än med open source-megakärnor för Llama 1B med batchstorlek ett.

## Varför det spelar roll

För AI-leverantörer kan högre genomströmning innebära att de kan hantera fler förfrågningar med befintlig hårdvara, eller ge snabbare svar om de väljer att använda den extra kapaciteten på det sättet. Togethers benchmarkresultat kommer från företaget självt, och det har inte uppgett om kunder eller externa utvecklare kan använda kompilatorn.

## Källor och referenser

1. [ResearchTogether Compiler: Continual Compilation for AI inferenceTogether Compiler uses agents and persistent engines to optimize open models in under 24 hours, delivering up to 3.7x higher throughput](https://www.together.ai/blog/together-compiler-continual-compilation-for-ai-inference) – Together AI
2. [Together AI Releases Together Compiler: Agents Make Inference Up to 2.6x Faster](https://www.marktechpost.com/2026/11/05/together-ai-together-compiler-continual-compilation-ai-inference/) – MarkTechPost, 2026-11-05

Senast uppdaterad: 2026-11-05