أعلنت Valkey الإتاحة العامة للإصدار 9.2، بالتزامن مع إطلاق مخزن مؤقت موزع مفتوح المصدر للقيم والمفاتيح، مخصص لاستدلال الذكاء الاصطناعي. ويتيح هذا المخزن لمحركات الاستدلال إعادة استخدام بيانات المطالبات والمحادثات التي سبق احتسابها عبر مجموعة من وحدات معالجة الرسومات؛ ويمكن للفرق التي تستخدم نماذج مفتوحة الأوزان وتديرها بنفسها ربطه عبر LMCache مع vLLM أو SGLang.
تقول Valkey إن التخزين المؤقت قد يخفض تكاليف الاستدلال بنسبة تصل إلى 40%، ووقت الوصول إلى الرمز الأول بنسبة تصل إلى 80%. ويضيف الإصدار أيضًا لقطات احتياطية من دون تفرع، لتجنب الارتفاع المفاجئ في استهلاك الذاكرة المرتبط بالنسخ الاحتياطية، وضغطًا للنسخ المتماثل تقول الشركة إنه يقلل حركة البيانات بنحو 50% إلى 65%.
لماذا يهم
يمكن للفرق التي تشغّل نماذج مفتوحة الأوزان على مجموعات وحدات معالجة الرسومات الخاصة بها تجربة إعادة استخدام عمليات الاستدلال عبر LMCache، لكن الوفورات المعلنة تقديرات من الشركة وليست مضمونة لكل أعباء العمل.