Oossa

مدیریت هوشمندتر حافظهٔ کش پرامپت در llama.cpp

نسخهٔ جدید سرور فقط اسلات‌های قابل‌استفادهٔ مجدد را در RAM نگه می‌دارد و برای بعضی نوع وظایف، حافظهٔ کمتری هدر می‌رود.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

پروژهٔ llama.cpp در 2026-10-15 نسخهٔ b11642 را منتشر کرد. این نسخه شیوهٔ ذخیره‌سازی اسلات‌های کش پرامپت در سرور را تغییر می‌دهد. فقط اسلات‌هایی ذخیره می‌شوند که بعداً بتوان آن‌ها را بازیابی کرد؛ بنابراین اسلات‌های بلااستفادهٔ مربوط به وظایف رتبه‌بندی مجدد، تعبیه‌سازی، تصمیم‌گیری و تکمیل متن دیگر فضای کش را اشغال نمی‌کنند. وظایف تصمیم‌گیری اکنون به‌طور کامل از کش صرف‌نظر می‌کنند، مگر اینکه از پرچم --cache-ram استفاده شود. این تغییر مصرف RAM را کاهش می‌دهد و از جابه‌جایی غیرضروری داده‌ها در کش جلوگیری می‌کند.

چرا مهم است

توسعه‌دهندگانی که llama.cpp را روی سخت‌افزارهای محدود اجرا می‌کنند، با مصرف حافظهٔ کمتر و کندی‌های کمترِ مرتبط با کش روبه‌رو می‌شوند.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.