Проект ggml‑org/llama.cpp выпустил версию b11773 2026‑10‑21. В обновлении добавлен новый тип модели H2O‑Lightning‑4B — это Qwen3.5‑4B со встроенной LoRA для принятия решений. Модель начинает ответы с пробела (« A») и поддерживает до 255 меток. Конвертер теперь записывает метаданные для принятия решений и проверяет, есть ли соответствие в serve_config.json. Изменение совместно подготовили сотрудники H2O AI; его протестировали на разных процессорах и видеокартах.
Почему это важно
Разработчики теперь могут запускать модели ИИ для принятия решений напрямую в llama.cpp на самых разных конфигурациях оборудования.