تیم ggml-org در 4 نوامبر 2026 نسخه llama.cpp b12094 را منتشر کرد که مسیر سریع‌تری برای نمونه‌گیری top-k در بک‌اند Hexagon دارد. نمونه‌گیری top-k هنگام تولید متن، از میان گزینه‌هایی که بالاترین امتیاز را دارند انتخاب می‌کند.
این تغییر برای مقادیر k از 2 تا 64 و ردیف‌های دارای بیش از 1,024 ورودی در نظر گرفته شده است. این روش بلوک‌هایی را که نمی‌توانند حاوی نتیجه برتر باشند از مرتب‌سازی کنار می‌گذارد، اما در توضیحات انتشار، سرعت‌سنجی‌ای ارائه نشده است.
چرا مهم است
کاربرانی که llama.cpp را روی سخت‌افزارهای پشتیبانی‌شده Hexagon اجرا می‌کنند، برای این workloadها به روشی کارآمدتر برای نمونه‌گیری دسترسی دارند؛ بااین‌حال، در توضیحات انتشار میزان افزایش سرعت در استفاده واقعی مشخص نشده است.
