Проект ggml‑org/llama.cpp выпустил версию b12342 с новым CUDA int8 MMA-ядром для операций MMQ с матричным умножением и квантованием, выполняемых над небольшим числом строк. Ядро поддерживает форматы квантования Q8_0, Q3_K, Q4_K, Q5_K, Q6_K, IQ3_S, IQ4_NL и IQ4_XS на видеокартах NVIDIA поколения Ampere и новее. Изменение призвано ускорить этапы проверки при спекулятивном декодировании. В обновление также вошло несколько исправлений тестов и проверок.
Почему это важно
Разработчики смогут ускорить инференс LLM на совместимых видеокартах и снизить задержки в интерактивных ИИ-приложениях.
