Oossa

AWS کش اشتراکی KV را برای مدل‌های هوش مصنوعی خودمیزبان اضافه کرد

Amazon ElastiCache for Valkey می‌تواند زمینهٔ مدل را میان سرورهای GPU به‌اشتراک بگذارد. AWS می‌گوید این سرویس می‌تواند هزینهٔ استنتاج را تا 40% و زمان انتظار برای نخستین توکن را تا 80% کاهش دهد.

نویسنده: منتشرشده توسط Oossa: 2 دقیقه مطالعه

sdl sanjaya · Unsplash

AWS قابلیت کش توزیع‌شدهٔ کلیدـمقدار (KV) را به Amazon ElastiCache for Valkey اضافه کرده است تا مدل‌های هوش مصنوعی خودمیزبان بتوانند زمینهٔ کش‌شده را میان سرورهای GPU به‌اشتراک بگذارند. AWS می‌گوید این سرویس می‌تواند هزینهٔ استنتاج را تا 40% و زمان رسیدن به نخستین توکن—مدتی که مدل پیش از شروع پاسخ‌گویی منتظر می‌ماند—را تا 80% کاهش دهد. این ارقام حداکثر میزان کاهش اعلام‌شده از سوی AWS هستند و برای همهٔ بارهای کاری تضمین نمی‌شوند.

کش اشتراکی، وضعیت مدل را که امکان استفادهٔ دوباره دارد ذخیره می‌کند تا سرور دیگری بتواند آن را به‌کار بگیرد و مجبور نباشد دوباره محاسبه‌اش کند. این قابلیت در گفتگوها یا عامل‌هایی مفید است که زمینهٔ طولانی و یکسانی را در چند نوبت ارسال می‌کنند، یا وقتی درخواست‌ها میان سرورها جابه‌جا می‌شوند. AWS می‌گوید وضعیت کش‌شده می‌تواند چند روز باقی بماند و در عرض چند میلی‌ثانیه بازیابی شود.

نحوهٔ کار

کش روی گره‌های cache.i8ge.48xlarge و در همان AWS Availability Zone مجموعهٔ سرورهای GPU اجرا می‌شود و برای انتقال داده از RDMA روی Elastic Fabric Adapter استفاده می‌کند. این قابلیت به ElastiCache for Valkey 9.1 یا نسخه‌های جدیدتر نیاز دارد. مشتریان می‌توانند با استفاده از رابط LMCache و تنها با تغییر پیکربندی، آن را به استقرارهای موجود vLLM، SGLang یا TensorRT-LLM متصل کنند.

AWS می‌گوید این سرویس با مدل‌های دارای وزن‌های باز، مدل‌های ریزتنظیم‌شده و مدل‌های آموزش‌دیده توسط خود کاربران سازگار است، به‌شرط آنکه موتور استنتاج و LMCache از آن‌ها پشتیبانی کنند. در مستندات این سرویس، خانواده‌های مدل Qwen، Kimi، GPT-OSS، DeepSeek، Gemma و GLM نام برده شده‌اند. این سرویس در 13 منطقه در دسترس است: سه منطقه در آمریکای شمالی، سه منطقه در اروپا و هفت منطقه در آسیا و اقیانوسیه.

چه بارهای کاری‌ای ممکن است سود ببرند؟

به‌گفتهٔ AWS، این کش برای نشست‌های طولانی یا چندنوبتی، زمینه‌های تکرارشونده و ترافیکی که میان تعداد زیادی سرور GPU پخش می‌شود مناسب‌تر است. عامل‌های کدنویسی، اعلان‌های سیستمی مشترک و تولید مبتنی بر بازیابی یا با زمینهٔ طولانی از جمله نمونه‌ها هستند. در مقابل، ممکن است برای درخواست‌های کوتاهی که دوباره استفاده نمی‌شوند، کارهایی مثل ترجمه یا نظارت بر محتوا، بارهای کاری متکی به تولید خروجی و مدل‌های انتشار تدریجی فایدهٔ چندانی نداشته باشد.

تیم‌ها پیش از استقرار می‌توانند با ابزار متن‌باز KVTrace و بدون پرداخت هزینه، نرخ برخورد به کش، صرفه‌جویی تخمینی و قیمت سربه‌سر را بر اساس ترافیک ثبت‌شدهٔ vLLM یا SGLang شبیه‌سازی کنند. AWS هزینهٔ هر گرهٔ کش را ساعتی محاسبه می‌کند و این هزینه تا زمان حذف خوشه ادامه دارد؛ این شرکت می‌گوید انتقال داده میان میزبان‌های GPU و کش در یک Availability Zone رایگان است. قیمت واقعی هر گره به نرخ‌های فعلی AWS بستگی دارد.

چرا مهم است

برای تیم‌هایی که چت‌های چندنوبتی یا عامل‌های کدنویسی را روی سرورهای GPU خودشان اجرا می‌کنند، کش اشتراکی می‌تواند محاسبات تکراری را کاهش دهد و کمک کند سخت‌افزار موجود درخواست‌های بیشتری را پردازش کند. ارقام صرفه‌جویی AWS حداکثر برآوردها هستند؛ بنابراین تیم‌ها باید ترافیک خود را آزمایش کنند و صرفه‌جویی تخمینی را با هزینهٔ ساعتی گره‌های کش بسنجند.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.