Oossa

llama.cpp добавила NEON-конвертацию fp32 в fp16 в версии b11761

Релиз от 21 октября 2026 года устраняет скрытую ошибку в ARM NEON: аппаратное преобразование fp32 в fp16 ускорит инференс на Apple Silicon и других ARM-процессорах.

ЗаметкаАвтор: Опубликовано Oossa: 1 мин чтения

Библиотека с открытым исходным кодом llama.cpp выпустила версию b11761 21 октября 2026 года. В ней исправлена ветка NEON: преобразование fp32 в fp16 теперь выполняется аппаратной инструкцией, а не программным обходным путём. Также добавлена ошибка компиляции, которая поможет выявлять похожие несоответствия макросов. Исправление распространяется на Apple Silicon с macOS, устройства с Linux ARM64 и Android на ARM, перечисленные в примечаниях к релизу.

Почему это важно

На устройствах с ARM инференс моделей будет быстрее: библиотека теперь использует встроенную в процессор аппаратную конвертацию в формат половинной точности.

Эта статья была полезной?
Поделиться

Читайте также

Oossa · Рассылка

Неделя ИИ — простыми словами

Каждый понедельник: главное за неделю понятным языком. Бесплатно, без спама.