Oossa

به‌روزرسانی llama.cpp محاسبه سرِ مدل زبانی را برای تعبیه‌های تجمیع‌شده حذف می‌کند

نسخه 13 اکتبر 2026 با تغییراتی در گراف محاسباتی، محاسبه غیرضروری سرِ مدل زبانی را هنگام نیاز به تعبیه‌های تجمیع‌شده حذف می‌کند.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

کتابخانه llama.cpp که نگه‌داری آن بر عهده ggml‑org است، نسخه b11597 را در 13 اکتبر 2026 منتشر کرد. این به‌روزرسانی گراف محاسباتی را تغییر می‌دهد تا وقتی از یک بافت، تعبیه‌های تجمیع‌شده استخراج می‌شود، مدل دیگر لایه بزرگ لاجیت‌های سرِ مدل زبانی (LM head) را نمی‌سازد. این تغییر مصرف حافظه را کاهش می‌دهد و استنتاج را برای کارهایی که فقط به تعبیه نیاز دارند، سریع‌تر می‌کند. همچنین گره‌های مرتبط گراف را تغییر می‌دهد تا شکل‌ها سازگار بمانند.

چرا مهم است

توسعه‌دهندگانی که تعبیه استخراج می‌کنند، می‌توانند مدل‌های llama.cpp را سریع‌تر و روی سخت‌افزار کم‌توان‌تری اجرا کنند.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.