Oossa

llama.cpp در نسخه b11782 باگ شمارش توکن را رفع کرد

این اجراگر متن‌باز مدل‌های زبانی بزرگ، کد سرور را برای شمارش درست توکن‌های تکمیل در تولید چند خروجی به‌روزرسانی کرده و باینری‌های تازه‌ای برای macOS، iOS و Linux ارائه می‌دهد.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

گروه ggml‑org در 21 Oct 2026 نسخه b11782 از llama.cpp را منتشر کرد. این به‌روزرسانی مشکلی در سرور را رفع می‌کند که باعث می‌شد usage.completion_tokens در n > 1 کمتر از مقدار واقعی شمرده شود؛ در نتیجه، آمار مصرف توکن هنگام تولید دسته‌ای پایین‌تر از واقعیت بود. این نسخه همچنین باینری‌های ازپیش‌ساخته تازه‌ای برای Apple Silicon، مک‌های Intel، iOS و چند نسخه Ubuntu (CPU، Vulkan و CUDA) ارائه می‌دهد.

چرا مهم است

توسعه‌دهندگان آمار دقیقی از مصرف توکن خواهند داشت و می‌توانند هزینه‌ها و عملکرد را هنگام اجرای چند تکمیل، بهتر زیر نظر بگیرند.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.