طبق اعلامیه‌ای در وبلاگ توسعه‌دهندگان گوگل که Tom’s Hardware گزارش کرده، تراشه‌های هوش مصنوعی اختصاصی گوگل، موسوم به واحدهای پردازش تانسور (TPU)، اکنون بارهای کاری هوش مصنوعی را در محیط عملیاتی متا اجرا می‌کنند. این راهکار از نسخه‌ای از SGLang استفاده می‌کند که به‌طور بومی با PyTorch سازگار است؛ نرم‌افزاری برای اجرای مدل‌های هوش مصنوعی و تولید پاسخ. گوگل همچنین از نسخه‌ای سازگار با PyTorch از vLLM، یکی دیگر از موتورهای پرکاربرد استنتاج، خبر داده است.
این تغییر به متا امکان می‌دهد تراشه‌های گوگل را با PyTorch، چارچوب هوش مصنوعی‌ای که خود متا ساخته، به کار بگیرد؛ درحالی‌که پیش‌تر به چارچوب JAX گوگل متکی بود. گوگل می‌گوید نسخه‌های جدید به توسعه‌دهندگان اجازه می‌دهند بدون بازنویسی بخش عمده نرم‌افزارشان از TPUها استفاده کنند. تیتر مقاله همچنین می‌گوید گوگل برای نخستین بار TPUها را به مشتریان بیرونی فروخته است، اما گزارش ارائه‌شده نام این مشتریان یا جزئیات فروش را مشخص نمی‌کند.
راهی فراتر از JAX
ارتباط نرم‌افزاری اهمیت دارد، چون یک تراشه فقط وقتی برای توسعه‌دهندگان کاربردی است که ابزارهایشان بتوانند از آن استفاده کنند. پیش‌تر SGLang و vLLM از طریق JAX روی TPUهای گوگل اجرا می‌شدند. نسخه‌های سازگار با PyTorch این تراشه‌ها را در اختیار گروه‌هایی هم قرار می‌دهند که از قبل با PyTorch کار می‌کنند و ممکن است انتقال بار کاری هوش مصنوعی به سخت‌افزار TPU را آسان‌تر کنند.
گوگل می‌گوید نسخه vLLM متن‌باز است. گزارش نمی‌گوید نسخه SGLang هم همین مجوز یا شرایط دسترسی را دارد یا نه و توضیح نمی‌دهد توسعه‌دهندگان چطور می‌توانند به هر یک از این نسخه‌ها دسترسی پیدا کنند. همچنین آماری از شمار TPUهایی که متا استفاده می‌کند، مدل‌هایی که روی آن‌ها اجرا می‌شوند یا عملکرد این راهکار ارائه نشده است.
این تغییر برای کاربران چه معنایی دارد؟
تغییر تأییدشده برای متا، راه دیگری برای اجرای بارهای کاری هوش مصنوعی در مراکز داده‌اش است. این کار می‌تواند گزینه‌های سخت‌افزاری بیشتری در اختیار مهندسان متا بگذارد، اما گزارش شواهدی ارائه نمی‌کند که نشان دهد سرعت، کیفیت یا دسترس‌پذیری محصولات متا برای کاربران تغییری کرده است. همچنین مشخص نمی‌کند که استفاده متا از این راهکار صرفاً آزمایشی است یا فراتر از اعلام اجرای عملیاتی، به‌طور گسترده‌تری گسترش یافته است.
چرا مهم است
مهندسان هوش مصنوعی متا اکنون می‌توانند با نسخه‌های سازگار با PyTorch از SGLang و vLLM از TPUهای گوگل استفاده کنند و برای اجرای این موتورها به JAX متکی نباشند. این موضوع گزینه سخت‌افزاری دیگری در اختیار متا می‌گذارد، اما منبع نشان نمی‌دهد کاربران محصولات متا تغییری در سرعت یا قابلیت‌ها احساس خواهند کرد یا نه.
