Oossa

llama.cpp b12419 меняет обработку пустых строк остановки

В этой версии сервер llama.cpp игнорирует пустые строки остановки. Также доступны сборки для нескольких операционных систем и типов процессоров.

ЗаметкаАвтор: Опубликовано Oossa: 1 мин чтения

Команда ggml-org выпустила llama.cpp b12419 с изменением в работе сервера: теперь он игнорирует пустые строки остановки. Это последовательности текста, которые указывают модели, когда нужно завершить ответ.

На странице релиза перечислены сборки для macOS, iOS и Linux, в том числе версии для CPU и Vulkan для некоторых систем Linux.

Почему это важно

Пользователи сервера llama.cpp могут передавать пустые строки остановки — сервер не будет считать их последовательностями остановки. В примечаниях к релизу не описаны другие изменения поведения.

Эта статья была полезной?
Поделиться

Читайте также

Oossa · Рассылка

Неделя ИИ — простыми словами

Каждый понедельник: главное за неделю понятным языком. Бесплатно, без спама.