Valkey از عرضهٔ عمومی نسخهٔ 9.2، همزمان با یک کش توزیعشدهٔ متنباز برای استنتاج هوش مصنوعی، خبر داد. این قابلیت به موتورهای استنتاج امکان میدهد دادههای محاسبهشدهٔ مربوط به پرامپتها و مکالمهها را در میان مجموعهای از GPUها دوباره استفاده کنند؛ تیمهایی که مدلهای متنبازِ وزنباز را خودشان مدیریت میکنند، میتوانند آن را از طریق LMCache به vLLM یا SGLang متصل کنند.
به گفتهٔ Valkey، این کش میتواند هزینههای استنتاج را تا 40% و زمان رسیدن به نخستین توکن را تا 80% کاهش دهد. این نسخه همچنین اسنپشاتگیری بدون فورک را برای جلوگیری از افزایش ناگهانی مصرف حافظه هنگام پشتیبانگیری اضافه میکند و قابلیت فشردهسازی تکثیر را در اختیار میگذارد؛ شرکت میگوید این قابلیت ترافیک را حدود 50% تا 65% کاهش میدهد.
چرا مهم است
تیمهایی که مدلهای متنبازِ وزنباز را روی مجموعه GPUهای خود اجرا میکنند، میتوانند با LMCache محاسبات استنتاج را دوباره به کار بگیرند؛ هرچند صرفهجوییهای اعلامشده ادعای شرکت است و برای همهٔ بارهای کاری تضمین نمیشود.