Oossa

افزودن پشتیبانی از logprob به speculative decoding در llama.cpp

کتابخانه متن‌باز Llama.cpp هنگام استفاده از speculative decoding، احتمال لگاریتمی توکن‌ها را هم برمی‌گرداند؛ این تغییر یک باگ در شاخه master را برطرف می‌کند.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

پروژه ggml‑org/llama.cpp نسخه b11776 را در 2026-10-21 منتشر کرد. این به‌روزرسانی امکان بازگرداندن احتمال‌های لگاریتمی (logprobs) را هنگام اجرای speculative decoding اضافه می‌کند؛ روشی که با حدس‌زدن توکن‌های بعدی، فرایند تولید را سریع‌تر می‌کند. همچنین یک آزمون رگرسیون اضافه شده تا اطمینان حاصل شود مقادیر جدید logprob با اجرای بدون speculative decoding مطابقت دارند. این اصلاح باگی را برطرف می‌کند که باعث می‌شد شاخه master داده‌های logprob را خالی برگرداند.

چرا مهم است

توسعه‌دهندگان اکنون هنگام استفاده از speculative decoding سریع می‌توانند امتیازهای اطمینان هر توکن را ببینند و از این طریق کیفیت تولید را اشکال‌زدایی و بهبود دهند.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.