Oossa

llama.cpp b11804 добавляет поддержку argmax в OpenCL

В обновлении опенсорсной среды для запуска LLM появилась операция argmax с преобразованием F32 в I32 для OpenCL, а также новые бинарные сборки для macOS, Linux и iOS.

ЗаметкаАвтор: Опубликовано Oossa: 1 мин чтения

ggml‑org выпустила версию b11804 llama.cpp 2026‑10‑22. В обновлении появилась процедура OpenCL, которая вычисляет argmax, преобразуя 32-битные числа с плавающей точкой в 32-битные целые числа, что ускоряет инференс на GPU. Также добавлены новые готовые бинарные сборки для Apple Silicon, Mac на Intel, iOS и нескольких вариантов Ubuntu (CPU, Vulkan, CUDA). Изменения подготовили OpenCode и Li He из Qualcomm.

Почему это важно

Теперь разработчики могут быстрее запускать модели llama.cpp на GPU с поддержкой OpenCL, что расширяет выбор оборудования для любительских проектов в области ИИ.

Эта статья была полезной?
Поделиться

Читайте также

Oossa · Рассылка

Неделя ИИ — простыми словами

Каждый понедельник: главное за неделю понятным языком. Бесплатно, без спама.