Oossaهوش مصنوعی به‌سرعت پیشرفت می‌کند. ما آن را ساده توضیح می‌دهیم.

پیش‌انتشار llama.cpp v0.2.0 بهینه‌سازی Hexagon را اضافه کرد

این اجراکننده متن‌باز مدل‌های زبانی بزرگ، بک‌اند Hexagon را برای اجرای سریع‌تر عملیات الحاق روی تراشه‌های Snapdragon به‌روزرسانی می‌کند.

خبر کوتاهOossa1 دقیقه مطالعه

پروژه ggml‑org/llama.cpp در ۳۰ سپتامبر ۲۰۲۶ یک نسخه پیش‌انتشار با برچسب b11272 منتشر کرد. این نسخه بهینه‌سازی ویژه‌ای برای Hexagon به عملیات الحاق (concat) اضافه می‌کند؛ عملیاتی که در استنتاج مدل‌های زبانی رایج است. این تغییر با کاهش سربار بسته‌ها و استفاده از روال سریع‌تر تقسیم، حلقه داغِ جابه‌جایی داده‌ها را سرعت می‌بخشد. این به‌روزرسانی بخشی از مجموعه گسترده‌تری از نسخه‌ها برای پلتفرم‌های مختلف است که دستگاه‌های Android مجهز به Snapdragon و NPUهای Hexagon را هم دربرمی‌گیرد.

چرا مهم است

این بهینه‌سازی اجرای مدل‌های زبانی بزرگ را روی گوشی‌های Snapdragon به‌طور محسوسی سریع‌تر می‌کند و تأخیر کارهای هوش مصنوعی روی دستگاه را کاهش می‌دهد.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.

منابع و ارجاع‌ها

#منبعرسانهتاریخنکته اصلی
1ggml-org/llama.cpp b11272 ↗llama.cpp۸ مهر ۱۴۰۵<details open> hexagon: optimize concat op (#29673) * hex-concat: reduce pkts in gather/transpose hot loop gather directly into dst buffer,

1 منبع

آخرین به‌روزرسانی: ·Markdown·llms.txt