Проект llama.cpp выпустил версию b11404 5 октября 2026 года. В неё вошли ядра Metal, которые обрабатывают за один раз несколько строк (от 2 до 16) на графических процессорах Apple. Они деквантуют веса один раз и распределяют вычисления между группами SIMD, благодаря чему спекулятивное декодирование на M3 Ultra работает быстрее, чем при прежнем подходе с умножением матрицы на вектор. Новые ядра используются только на устройствах с графическим процессором семейства Apple7 и при достижении порогового числа строк (например, 6 строк для F32). Также доработана логика объединения операций и удалено объединение копирования пакетных данных, вызывавшее проблемы.
Почему это важно
Пользователи устройств Apple Silicon, работающие с llama.cpp, получат меньшую задержку при генерации текста со спекулятивным декодированием, особенно на устройствах с M3 Ultra.
