Команда ggml-org выпустила llama.cpp b12419 с изменением в работе сервера: теперь он игнорирует пустые строки остановки. Это последовательности текста, которые указывают модели, когда нужно завершить ответ.
На странице релиза перечислены сборки для macOS, iOS и Linux, в том числе версии для CPU и Vulkan для некоторых систем Linux.
Почему это важно
Пользователи сервера llama.cpp могут передавать пустые строки остановки — сервер не будет считать их последовательностями остановки. В примечаниях к релизу не описаны другие изменения поведения.