Oossa

llama.cpp ускорил вычисления GELU на CPU в версии b11786

В обновлении open-source-среды для запуска LLM функции GELU вычисляются с полной точностью, без таблицы поиска.

ЗаметкаАвтор: Опубликовано Oossa: 1 мин чтения

Проект ggml-org/llama.cpp выпустил версию b11786 2026-10-21. В обновлении появились новые CPU-ядра, которые напрямую вычисляют функции f32 gelu_quick и geglu_quick, поэтому таблица поиска fp16 больше не нужна. Для этих ядер также добавили тесты, а старые тестовые случаи inf/nan удалили. Для скачивания теперь доступны готовые бинарные файлы для macOS, iOS и нескольких вариантов Linux.

Почему это важно

Новые ядра позволяют разработчикам быстрее запускать LLM на CPU, поскольку обходятся без более медленной таблицы поиска.

Эта статья была полезной?
Поделиться

Читайте также

Oossa · Рассылка

Неделя ИИ — простыми словами

Каждый понедельник: главное за неделю понятным языком. Бесплатно, без спама.