Команда ggml-org выпустила llama.cpp версии b12345. В ней появилась поддержка квантования Q5_0 и Q5_1 — 5-битного сжатия, которое может ускорить инференс. В обновление также вошли специализированные ядра для этих форматов на устройствах Hexagon. Готовые бинарные сборки доступны для macOS на Apple Silicon, macOS на Intel, iOS и нескольких вариантов Ubuntu, в том числе только для CPU и с поддержкой Vulkan.
Почему это важно
Разработчики смогут быстрее запускать LLM на маломощном оборудовании, а значит, локальные ИИ-модели можно будет использовать на большем числе устройств.
