Oossa

به‌روزرسانی llama.cpp پشتیبانی از id_slot در API آنتروپیک را اضافه کرد

نسخه منتشرشده در 2026‑10‑20 به سرورها امکان می‌دهد نشست‌ها را به اسلات‌های مشخصی از حافظه نهان KV متصل کنند تا در درخواست‌های Anthropic /v1/messages نیازی به پردازش دوباره کل ورودی نباشد.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

پروژه متن‌باز llama.cpp در 2026‑10‑20 نسخه b11756 را منتشر کرد. این تغییر باعث می‌شود سرور فیلد id_slot را از درخواست‌های Anthropic /v1/messages به بدنه داخلی با قالب OAI منتقل کند. به این ترتیب، پراکسی می‌تواند یک نشست را به اسلات مشخصی از حافظه نهان KV متصل نگه دارد و از پر کردن دوباره بافت مدل در هر بار درخواست جلوگیری کند. آزمون جدیدی هم تأیید می‌کند که درخواست‌های دارای id_slot به اسلات درست هدایت می‌شوند.

چرا مهم است

توسعه‌دهندگانی که از llama.cpp با APIهای سازگار با Anthropic استفاده می‌کنند، می‌توانند با جلوگیری از بارگذاری دوباره و پرهزینه حافظه نهان، نشست‌های گفت‌وگو را سریع‌تر نگه دارند.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.