Oossa

افزودن مقیاس‌دهی توکنیِ متخصص‌ها به llama.cpp

کتابخانهٔ متن‌باز llama.cpp اکنون مقیاس‌دهی لایه‌های فرافکنیِ پایین‌دست در MoE را برای هر توکن انجام می‌دهد و پشتیبانی از موازی‌سازی تنسوری را بهبود می‌بخشد.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

پروژهٔ ggml‑org/llama.cpp نسخهٔ جدیدی را در 2026-10-21 منتشر کرد. در این نسخه، ضریب مقیاس‌دهیِ سراسری و واحد برای فرافکنی‌های پایین‌دستِ مدل‌های آمیخته از متخصص‌ها (MoE) با ضریبی مختص هر توکنِ هر متخصص جایگزین شده است؛ این کار با استفاده از کاهش بیشینهٔ POOL_1D انجام می‌شود. این تغییر همچنین با پشتیبانی از POOL_1D در منطق مدیریت حالتِ تقسیم‌شده، امکان موازی‌سازی تنسوری را فراهم می‌کند. این به‌روزرسانی شامل پاک‌سازی کد و بازطراحی ساختار بازگشتیِ مقیاس‌دهی نیز هست.

چرا مهم است

توسعه‌دهندگانی که از مدل‌های MoE استفاده می‌کنند، اکنون می‌توانند برای هر توکن مقیاس‌دهی دقیق‌تری داشته باشند؛ این قابلیت ممکن است عملکرد را در پیکربندی‌های چندپردازندهٔ گرافیکی بهبود دهد.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.