Oossa

پشتیبانی SDK آنتی‌گراویتی گوگل از مدل‌های محلی

توسعه‌دهندگان حالا می‌توانند عامل‌های هوش مصنوعی را با SDK آنتی‌گراویتی روی دستگاه اجرا کنند و بیشتر توکن‌ها را محلی پردازش کنند تا کدشان خصوصی بماند.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

گوگل اعلام کرد SDK آنتی‌گراویتی این شرکت حالا از اجرای مدل‌های محلی پشتیبانی می‌کند. با این تغییر، عامل سطح‌بالای «معمار» می‌تواند در فضای ابری بماند و عامل‌های «سازنده» روی دستگاه توسعه‌دهنده اجرا شوند. در نمایشی که سه ماژول آسیب‌پذیر پایتون را اصلاح کرد، از حدود ۳٬۴۰۰ توکن، فقط نزدیک به ۹۵ توکن به فضای ابری فرستاده شد و بقیه به‌صورت محلی پردازش شدند. این SDK با مدل Gemma 4 26B گوگل از طریق LiteRT کار می‌کند و از سرورهای سازگار با OpenAI مانند Ollama و vLLM هم پشتیبانی می‌کند.

چرا مهم است

این قابلیت به تیم‌های نرم‌افزاری کمک می‌کند کد منبع را از فضای ابری دور نگه دارند و هم‌زمان هزینه‌های استنتاج را کاهش دهند.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.