Oossa

افزودن تنظیم اندازه حافظه Hexagon در llama.cpp b11913

نسخه جدید llama.cpp امکان تعیین اندازه VTCM در Hexagon را اضافه می‌کند؛ می‌توان برای مقدار از پسوندهای K، M یا G استفاده کرد.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

انتشار llama.cpp b11913 از سوی تیم ggml-org امکان تعیین اندازه VTCM را اضافه می‌کند؛ VTCM منبعی از حافظه است که backend مربوط به Hexagon از آن استفاده می‌کند. نام این تنظیم `GGML_HEXAGON_VTCM_SIZE` است و می‌توان برای مقدار آن از پسوندهای K، M یا G استفاده کرد.

یادداشت‌های انتشار همچنین نشان می‌دهند که محدودیت پیشنهادی `NTHREADS` بعداً کنار گذاشته شد. این یادداشت‌ها اندازه پیش‌فرض VTCM را مشخص نمی‌کنند و توضیح نمی‌دهند این تغییر چه اثری بر عملکرد دارد.

چرا مهم است

کاربرانی که llama.cpp را با سخت‌افزار Hexagon اجرا می‌کنند می‌توانند اندازه VTCM را تغییر دهند، اما یادداشت‌های انتشار نمی‌گویند چه مقداری مناسب است یا آیا این کار عملکرد را بهبود می‌دهد.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.