Команда ggml-org выпустила версию llama.cpp b12366 2026-11-13. В обновлении добавлена поддержка BF16 (16-битного формата с плавающей запятой) для слоя RMS_NORM в бэкендах CPU и CUDA. Теперь для запуска ядер RMS_NORM в форматах F32 и BF16 используется единая вспомогательная функция. Скачать готовые сборки можно для Apple Silicon и Intel на macOS, для iOS, а также для нескольких вариантов Ubuntu.
Почему это важно
Разработчики смогут быстрее запускать модели Llama на оборудовании, оптимизированном для BF16, снижая расход памяти без существенной потери точности.
