Together AI می‌گوید کامپایلری ساخته که به‌طور پیوسته نحوه اجرای مدل‌های هوش مصنوعی را بهینه می‌کند. این شرکت گزارش داده پس از کمتر از ۲۴ ساعت بهینه‌سازی، توان عملیاتی چند مدل متن‌باز تا ۲٫۶ برابر افزایش یافته است. به‌گفته شرکت، این سامانه با نام Together Compiler (TKCC) هم‌اکنون بارهای کاری خود شرکت را اجرا می‌کند؛ بارهایی که تریلیون‌ها توکن را پردازش می‌کنند.
این کامپایلر طوری طراحی شده که خود را با تغییر مدل‌ها، تراشه‌های رایانه‌ای و ترافیک کاربران تطبیق دهد، نه اینکه به یک پیکربندی ثابت متکی باشد. Together می‌گوید آزمایش‌هایش مدل‌هایی از جمله Kimi K3، GLM 5.3، MiniMax M3.1-Flash و DeepSeek v4.1-Flash را دربر می‌گرفت. توان عملیاتی یعنی تعداد توکن‌هایی که یک سامانه در مدت‌زمان مشخص پردازش می‌کند؛ توان عملیاتی بیشتر می‌تواند به یک ارائه‌دهنده امکان دهد با همان سخت‌افزار درخواست‌های بیشتری را پاسخ دهد.
کامپایلر چگونه کار می‌کند؟
TKCC از عامل‌های هوش مصنوعی برای پیشنهاد و آزمایش تغییرات در موتور استنتاج استفاده می‌کند؛ موتور استنتاج نرم‌افزاری است که هنگام ارسال درخواست، مدل را اجرا می‌کند. شرکت می‌گوید یکی از تصمیم‌های کلیدی در طراحی این سامانه، روشن نگه‌داشتن موتورهای آزمایشی به‌جای راه‌اندازی مکرر آن‌ها از ابتداست. طبق مقایسه شرکت، راه‌اندازی موتور با روش معمول ۴۶۷ ثانیه طول کشید، درحالی‌که این زمان با TKCC به ۹ ثانیه رسید.
چند عامل به‌طور هم‌زمان روی بهینه‌سازی‌های احتمالی کار می‌کنند و موتورهای فعال، پیشنهادهایشان را می‌آزمایند. یک لایه آزمایش سریع برای آزمون‌های زودگذر به کار می‌رود و لایه‌ای کندتر بررسی می‌کند که آیا تغییرات با بخش بیشتری از مدل و داده‌های ورودی واقع‌بینانه همچنان جواب می‌دهند یا نه. Together می‌گوید این سازوکار آزمایش‌ها را در مقایسه با سامانه‌های پایه بهینه‌سازی عملکرد عامل‌محور، ۲۵۲ برابر سریع‌تر اجرا کرد. این مقایسه داخلی است و شرکت درباره اعتبارسنجی مستقل نتایج توضیحی نداده است.
Together چه چیزهایی را آزمایش کرد؟
Together می‌گوید در آزمون InferenceX AgentX شرکت SemiAnalysis، توان عملیاتی در مقایسه با بهترین پیکربندی‌های موتور متن‌بازِ در دسترس که به‌عنوان مبنا به کار برد، تا ۲٫۶ برابر بیشتر بود. این شرکت در آزمایشی جداگانه با تأخیر کم و اندازه دسته یک، سرعت ۱٬۱۱۱ توکن در ثانیه برای MiniMax M3.1-Flash و ۱٬۲۰۵ توکن در ثانیه برای DeepSeek v4.1-Flash را گزارش کرده است. این نتایج را Together اعلام کرده و ارزیابی مستقلی نیستند.
این شرکت همچنین می‌گوید توان عملیاتی در مقایسه با مگا‌کرنل‌های متن‌باز، در بار کاری Llama 1B با اندازه دسته یک، ۱٫۷ برابر بیشتر بوده است. Together می‌گوید TKCC فراتر از مدل‌های زبانی نیز در سه مورد از چهار آزمون مربوط به مدل‌سازی آب‌وهوا، معادلات دیفرانسیل جزئی، پیش‌بینی سری‌های زمانی و زیست‌شناسی، عملکرد بهتری از استفاده از Claude Code با فرمان «/goal» داشته است. به‌گفته Together، این کامپایلر در داخل شرکت استفاده می‌شود؛ اما مشخص نکرده است که آیا یا چه زمانی توسعه‌دهندگان دیگر می‌توانند به آن دسترسی داشته باشند.
چرا مهم است
برای ارائه‌دهندگان هوش مصنوعی، توان عملیاتی بیشتر می‌تواند به معنای پاسخ‌گویی به درخواست‌های بیشتر با سخت‌افزار موجود باشد؛ یا اگر از ظرفیت اضافه برای این کار استفاده کنند، سرعت پاسخ‌گویی را افزایش دهد. نتایج بنچمارک‌ها را خود Together اعلام کرده و این شرکت نگفته است که مشتریان یا توسعه‌دهندگان بیرونی می‌توانند از این کامپایلر استفاده کنند.
