Oossa

llama.cpp ускоряет квантованные модели с помощью OpenCL DP4A

В библиотеке для инференса LLaMA с открытым исходным кодом появилась поддержка GEMM с cooperative-k DP4A для форматов q4_0, q4_k и q6_k.

ЗаметкаАвтор: Опубликовано Oossa: 1 мин чтения

Проект ggml‑org/llama.cpp выпустил версию b11741 2026‑10‑19. В ней появились новые ядра OpenCL, использующие инструкции DP4A для ускорения матричных умножений в трёх квантованных форматах: q4_0, q4_k и q6_k. Обновление также исправляет проблему с выравниванием и включает готовые бинарные файлы для macOS (Apple Silicon и Intel) и нескольких вариантов Ubuntu, в том числе сборки с Vulkan.

Почему это важно

Разработчики смогут быстрее запускать модели LLaMA на совместимых с OpenCL графических процессорах, что сделает локальный инференс практичнее.

Эта статья была полезной?
Поделиться

Читайте также

Oossa · Рассылка

Неделя ИИ — простыми словами

Каждый понедельник: главное за неделю понятным языком. Бесплатно, без спама.