Oossa

Valkey 9.2 کش اشتراکی برای استنتاج هوش مصنوعی می‌آورد

این ذخیره‌ساز متن‌باز، کش توزیع‌شدهٔ کلید-مقدار را اضافه می‌کند و با تغییراتی می‌کوشد مصرف حافظه برای پشتیبان‌گیری، ترافیک تکثیر و سربار مجموعه‌های مرتب‌شدهٔ بزرگ را کاهش دهد.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

Valkey از عرضهٔ عمومی نسخهٔ 9.2، هم‌زمان با یک کش توزیع‌شدهٔ متن‌باز برای استنتاج هوش مصنوعی، خبر داد. این قابلیت به موتورهای استنتاج امکان می‌دهد داده‌های محاسبه‌شدهٔ مربوط به پرامپت‌ها و مکالمه‌ها را در میان مجموعه‌ای از GPUها دوباره استفاده کنند؛ تیم‌هایی که مدل‌های متن‌بازِ وزن‌باز را خودشان مدیریت می‌کنند، می‌توانند آن را از طریق LMCache به vLLM یا SGLang متصل کنند.

به گفتهٔ Valkey، این کش می‌تواند هزینه‌های استنتاج را تا 40% و زمان رسیدن به نخستین توکن را تا 80% کاهش دهد. این نسخه همچنین اسنپ‌شات‌گیری بدون فورک را برای جلوگیری از افزایش ناگهانی مصرف حافظه هنگام پشتیبان‌گیری اضافه می‌کند و قابلیت فشرده‌سازی تکثیر را در اختیار می‌گذارد؛ شرکت می‌گوید این قابلیت ترافیک را حدود 50% تا 65% کاهش می‌دهد.

چرا مهم است

تیم‌هایی که مدل‌های متن‌بازِ وزن‌باز را روی مجموعه GPUهای خود اجرا می‌کنند، می‌توانند با LMCache محاسبات استنتاج را دوباره به کار بگیرند؛ هرچند صرفه‌جویی‌های اعلام‌شده ادعای شرکت است و برای همهٔ بارهای کاری تضمین نمی‌شود.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.