أضافت AWS التخزين المؤقت الموزع للقيم والمفاتيح (KV) إلى Amazon ElastiCache for Valkey، ما يتيح لنماذج الذكاء الاصطناعي المستضافة ذاتيًا مشاركة السياق المخزّن مؤقتًا بين خوادم GPU. وتقول AWS إن الخدمة قد تخفض تكاليف الاستدلال بنسبة تصل إلى 40%، ووقت الوصول إلى الرمز الأول — أي مدة الانتظار قبل أن يبدأ النموذج بالرد — بنسبة تصل إلى 80%. وهذه أعلى نسب خفض أعلنتها AWS، وليست نتائج مضمونة لكل أعباء العمل.
يخزّن النظام حالة النموذج القابلة لإعادة الاستخدام، بحيث يمكن لخادم آخر استعادتها بدلًا من احتسابها مجددًا. وقد يفيد ذلك عندما ترسل محادثة أو وكيل السياق الطويل نفسه عبر عدة جولات، أو عندما تنتقل الطلبات بين الخوادم. وتقول AWS إن الحالة المخزّنة قد تبقى لأيام ويمكن استرجاعها في غضون أجزاء من الثانية.
آلية العمل
تعمل ذاكرة التخزين المؤقت على عقد cache.i8ge.48xlarge في منطقة توافر AWS نفسها التي تعمل فيها مجموعة خوادم GPU، وتستخدم RDMA عبر Elastic Fabric Adapter لنقل البيانات. وتتطلب ElastiCache for Valkey 9.1 أو إصدارًا أحدث. ويمكن للعملاء ربطها بعمليات النشر الحالية لـ vLLM أو SGLang أو TensorRT-LLM عبر موصل LMCache، من خلال تعديل الإعدادات.
وتقول AWS إن الخدمة تعمل مع النماذج ذات الأوزان المفتوحة، والنماذج المضبوطة بدقة، والنماذج المدرّبة ذاتيًا، ما دامت مدعومة من محرك الاستدلال وLMCache. وتذكر وثائقها عائلات نماذج منها Qwen وKimi وGPT-OSS وDeepSeek وGemma وGLM. والخدمة متاحة في 13 منطقة: ثلاث في أمريكا الشمالية، وثلاث في أوروبا، وسبع في آسيا والمحيط الهادئ.
ما أعباء العمل التي قد تستفيد؟
تقول AWS إن التخزين المؤقت أنسب للجلسات الطويلة أو متعددة الجولات، والسياق المتكرر، وحركة البيانات الموزعة على عدد كبير من خوادم GPU. ومن أمثلة ذلك وكلاء البرمجة، ومطالبات النظام المشتركة، وتوليد النصوص بالسياق الطويل أو المعزز بالاسترجاع. وقد تكون فائدته محدودة مع المطالبات القصيرة التي لا يعاد استخدامها، ومهام مثل الترجمة أو الإشراف على المحتوى، وأعباء العمل التي يهيمن عليها توليد المخرجات، ونماذج الانتشار.
قبل النشر، يمكن للفرق استخدام أداة KVTrace مفتوحة المصدر مجانًا لمحاكاة معدلات إصابة الذاكرة المؤقتة، والتوفير المقدّر، وسعر التعادل، بالاستناد إلى حركة بيانات مسجلة من vLLM أو SGLang. وتفرض AWS رسومًا بالساعة على كل عقدة تخزين مؤقت حتى حذف المجموعة؛ وتقول إن نقل البيانات بين مضيفي GPU والذاكرة المؤقتة ضمن منطقة التوافر نفسها مجاني. أما السعر الفعلي للعقدة فيعتمد على أسعار AWS السارية.
لماذا يهم
قد يساعد التخزين المؤقت المشترك الفرق التي تشغّل محادثات متعددة الجولات أو وكلاء برمجة على خوادم GPU الخاصة بها على تقليل العمليات الحسابية المتكررة والاستفادة من أجهزتها الحالية لمعالجة مزيد من الطلبات. لكن أرقام التوفير التي تعلنها AWS تمثل الحد الأقصى، لذا ينبغي للفرق اختبار حركة البيانات لديها ومقارنة التوفير المقدّر بتكلفة عقدة التخزين المؤقت بالساعة.