Oossa

تغییر شیوه تقسیم فلش‌اَتِنشن Hexagon در llama.cpp

نسخه b11868 دو پرچم تقسیم فلش‌اَتِنشن Hexagon را یکی می‌کند و وقتی تعداد سرهای KV برای استفاده از همه هسته‌ها کافی نباشد، تقسیم کار بین تیم‌ها را اضافه می‌کند.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

نسخه b11868 از ggml-org/llama.cpp شیوه مدیریت فلش‌اَتِنشن چند‌هسته‌ای HMX در Hexagon را تغییر می‌دهد. این نسخه تنظیم‌های جداگانه `FA_HEAD_SPLIT` و `FA_SPLIT` را با یک پرچم، یعنی `GGML_HEXAGON_FA_SPLIT`، جایگزین می‌کند.

وقتی مقدار این پرچم 1 باشد، کار را می‌توان بین سرهای KV تقسیم کرد و اگر تعداد سرهای KV از تعداد هسته‌ها کمتر باشد، آن را بین تیم‌ها هم تقسیم کرد تا هسته‌هایی که در غیر این صورت بیکار می‌مانند، در پردازش مشارکت کنند. در توضیحات انتشار، اجرای Gemma 4 با دو سر KV روی چهار هسته به‌عنوان نمونه آمده است.

چرا مهم است

برای کسانی که llama.cpp را روی سخت‌افزار Hexagon اجرا می‌کنند، هدف این تغییر آن است که وقتی تعداد سرهای KV مدل از تعداد هسته‌ها کمتر است، هسته‌های بیشتری در پردازش مشارکت کنند؛ توضیحات انتشار میزان افزایش سرعت را اعلام نمی‌کند.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.