# llama.cpp ускоряет спекулятивное декодирование на Apple M3 Ultra

> В среде выполнения LLM с открытым исходным кодом появились новые ядра матричного умножения для Apple Silicon, сокращающие время генерации токенов у некоторых квантованных моделей.

Oossa · 2026-10-05 · https://oossa.com/ru/llama-cpp-adds-few-row-metal-kernels-for-faster-speculative-decoding-on-apple-m3

Проект llama.cpp выпустил версию b11404 5 октября 2026 года. В неё вошли ядра Metal, которые обрабатывают за один раз несколько строк (от 2 до 16) на графических процессорах Apple. Они деквантуют веса один раз и распределяют вычисления между группами SIMD, благодаря чему спекулятивное декодирование на M3 Ultra работает быстрее, чем при прежнем подходе с умножением матрицы на вектор. Новые ядра используются только на устройствах с графическим процессором семейства Apple7 и при достижении порогового числа строк (например, 6 строк для F32). Также доработана логика объединения операций и удалено объединение копирования пакетных данных, вызывавшее проблемы.

## Факты

- Дата выпуска: 5 октября 2026 года ("Mon Oct 05 2026 08:06:22 GMT+0200").
- Новые ядра Metal обрабатывают от 2 до 16 строк и ускоряют спекулятивное декодирование на M3 Ultra.

## Почему это важно

Пользователи устройств Apple Silicon, работающие с llama.cpp, получат меньшую задержку при генерации текста со спекулятивным декодированием, особенно на устройствах с M3 Ultra.

## Источники и ссылки

1. [ggml-org/llama.cpp b11404](https://github.com/ggml-org/llama.cpp/releases/tag/b11404) – llama.cpp, 2026-10-05

Обновлено: 2026-10-05