Oossa

Valkey 9.2 يضيف تخزينًا مؤقتًا مشتركًا لاستدلال الذكاء الاصطناعي

يضيف مخزن البيانات مفتوح المصدر تخزينًا مؤقتًا موزعًا للقيم والمفاتيح، إلى جانب تغييرات تهدف إلى تقليل استهلاك الذاكرة للنسخ الاحتياطية وحركة بيانات النسخ المتماثل والعبء الذي تسببه المجموعات المرتبة الكبيرة.

خبر موجزبقلم نشرته Oossa: 1 دقائق قراءة

أعلنت Valkey الإتاحة العامة للإصدار 9.2، بالتزامن مع إطلاق مخزن مؤقت موزع مفتوح المصدر للقيم والمفاتيح، مخصص لاستدلال الذكاء الاصطناعي. ويتيح هذا المخزن لمحركات الاستدلال إعادة استخدام بيانات المطالبات والمحادثات التي سبق احتسابها عبر مجموعة من وحدات معالجة الرسومات؛ ويمكن للفرق التي تستخدم نماذج مفتوحة الأوزان وتديرها بنفسها ربطه عبر LMCache مع vLLM أو SGLang.

تقول Valkey إن التخزين المؤقت قد يخفض تكاليف الاستدلال بنسبة تصل إلى 40%، ووقت الوصول إلى الرمز الأول بنسبة تصل إلى 80%. ويضيف الإصدار أيضًا لقطات احتياطية من دون تفرع، لتجنب الارتفاع المفاجئ في استهلاك الذاكرة المرتبط بالنسخ الاحتياطية، وضغطًا للنسخ المتماثل تقول الشركة إنه يقلل حركة البيانات بنحو 50% إلى 65%.

لماذا يهم

يمكن للفرق التي تشغّل نماذج مفتوحة الأوزان على مجموعات وحدات معالجة الرسومات الخاصة بها تجربة إعادة استخدام عمليات الاستدلال عبر LMCache، لكن الوفورات المعلنة تقديرات من الشركة وليست مضمونة لكل أعباء العمل.

هل كان هذا المقال مفيدًا؟
مشاركة

اقرأ أيضًا

Oossa · النشرة البريدية

أسبوع الذكاء الاصطناعي، مشروحًا

كل يوم اثنين: الأخبار التي تستحق المعرفة، بلغة بسيطة. مجانًا وبلا رسائل مزعجة.