Oossa

В llama.cpp b11795 добавлена передача параметров серверу

Теперь библиотека с открытым исходным кодом llama.cpp передаёт дополнительные параметры сэмплирования через API /v1/messages. Также доступны новые сборки для macOS, Linux и iOS.

ЗаметкаАвтор: Опубликовано Oossa: 1 мин чтения

Команда ggml‑org выпустила llama.cpp версии b11795. В обновлении сервер теперь передаёт параметры сэмплирования без изменений в поле extra_params эндпоинта /v1/messages. Кроме того, появились готовые бинарные сборки для macOS (Apple Silicon и Intel), iOS, а также для Ubuntu — несколько вариантов для CPU и Vulkan.

Почему это важно

Разработчики могут задавать параметры генерации через API без дополнительного кода, упрощая интеграцию llama.cpp в приложения.

Эта статья была полезной?
Поделиться

Читайте также

Oossa · Рассылка

Неделя ИИ — простыми словами

Каждый понедельник: главное за неделю понятным языком. Бесплатно, без спама.