# llama.cpp ускорил операции с матрицами на GPU NVIDIA

> В среде для запуска LLM с открытым исходным кодом появился новый int8-ядро для видеокарт NVIDIA поколения Ampere и новее. Оно ускоряет проверку при спекулятивном декодировании.

Oossa · 2026-11-13 · https://oossa.com/ru/llama-cpp-adds-int8-cuda-kernel-for-few-row-matrix-ops

Проект ggml‑org/llama.cpp выпустил версию b12342 с новым CUDA int8 MMA-ядром для операций MMQ с матричным умножением и квантованием, выполняемых над небольшим числом строк. Ядро поддерживает форматы квантования Q8_0, Q3_K, Q4_K, Q5_K, Q6_K, IQ3_S, IQ4_NL и IQ4_XS на видеокартах NVIDIA поколения Ampere и новее. Изменение призвано ускорить этапы проверки при спекулятивном декодировании. В обновление также вошло несколько исправлений тестов и проверок.

## Факты

- Новое int8 MMA-ядро поддерживает восемь форматов квантования на видеокартах NVIDIA поколения Ampere и новее.
- Дата выпуска: 2026-11-13

## Почему это важно

Разработчики смогут ускорить инференс LLM на совместимых видеокартах и снизить задержки в интерактивных ИИ-приложениях.

## Источники и ссылки

1. [ggml-org/llama.cpp b12342](https://github.com/ggml-org/llama.cpp/releases/tag/b12342) – llama.cpp, 2026-11-13

Обновлено: 2026-11-13