کتابخانه متن‌باز جدید C++ گوگل، تأخیر انتقال کش KV را در مدل‌های بزرگ MoE بیش از ۹۰٪ کاهش می‌دهد.
خبر کوتاهنویسنده: Oossaمنتشرشده توسط Oossa: 1 دقیقه مطالعه
گوگل TPU Sync را منتشر کرده است؛ کتابخانه‌ای متن‌باز به زبان C++ که کش‌های کلید-مقدار (KV) و وزن‌های مدل را میان حافظه پهن‌باند TPU، رم میزبان، فضای ذخیره‌سازی و شبکه جابه‌جا می‌کند. این شرکت می‌گوید این کتابخانه تأخیر انتقال KV را در مدل‌های ترکیبیِ متخصصان (MoE) با ۲۳۵ تا ۴۸۰ میلیارد پارامتر بیش از ۹۰٪ کاهش می‌دهد.
توسعه‌دهندگان می‌توانند وضعیت مدل‌های زبانی بزرگ را روی TPUها بسیار سریع‌تر به‌روز کنند و در نتیجه زمان مکث هنگام استنتاج یا تنظیم دقیق را کاهش دهند.
مدلها
کیف پول تازه OpenAI به عاملهای «dots» اجازه می‌دهد با اطلاعات توکنیزهشده کارت، برای مشترکان Pro در آمریکا خرید کنند.
مدلها
این عامل هوش مصنوعی میتواند با شرکتهای کابلی، ادارههای راهنماییورانندگی و رستورانها تماس بگیرد؛ اما بسیاری از کسبوکارها هنوز با شنیدن صدای مصنوعی تماس را قطع میکنند.
مدلها
مدل جدید Gemini 4 Hydrogen از Argon بزرگتر در سرعت، هزینه و چندین معیار عملکرد پیشی میگیرد و اکنون در سراسر جهان در دسترس توسعه‌دهندگان و کاربران است.
Oossa · خبرنامه
هفتهٔ هوش مصنوعی، به زبان ساده
هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.
