Oossa

llama.cpp b11782 исправляет подсчёт токенов

В новой версии сервера open-source среды для запуска LLM правильно подсчитываются токены генерации при создании нескольких вариантов ответа. Также добавлены новые сборки для macOS, iOS и Linux.

ЗаметкаАвтор: Опубликовано Oossa: 1 мин чтения

21 октября 2026 года ggml‑org выпустила llama.cpp версии b11782. Обновление исправляет ошибку сервера, из-за которой при n > 1 занижалось значение usage.completion_tokens и, соответственно, статистика расхода токенов при пакетной генерации. В релиз также вошли новые готовые сборки для Apple Silicon, компьютеров Mac с процессорами Intel, iOS и нескольких вариантов Ubuntu (CPU, Vulkan, CUDA).

Почему это важно

Разработчики получат точные данные об использовании токенов и смогут лучше отслеживать затраты и производительность при генерации нескольких вариантов ответа.

Эта статья была полезной?
Поделиться

Читайте также

Oossa · Рассылка

Неделя ИИ — простыми словами

Каждый понедельник: главное за неделю понятным языком. Бесплатно, без спама.