Oossa

llama.cpp b11769 исправляет обработку отключений в маршрутизаторе

В версии b11769 библиотеки llama.cpp с открытым исходным кодом обновлена маршрутизация запросов на сервере: теперь они быстрее отменяются. Также появились новые готовые сборки для macOS, Linux и iOS.

ЗаметкаАвтор: Опубликовано Oossa: 1 мин чтения

Команда ggml-org выпустила llama.cpp версии b11769. В обновлении исправлена ошибка, из-за которой серверный маршрутизатор не полностью передавал дочерним процессам сигналы об отключении клиента, что могло задерживать отмену запроса. Кроме того, удалён тест, чувствительный к таймингу. Теперь доступны новые готовые сборки для macOS на Apple Silicon и Intel, iOS и нескольких вариантов Ubuntu.

Почему это важно

Разработчики смогут запускать llama.cpp локально и надёжнее отменять запросы, не тратя вычислительные ресурсы на прерванные задачи.

Эта статья была полезной?
Поделиться

Читайте также

Oossa · Рассылка

Неделя ИИ — простыми словами

Каждый понедельник: главное за неделю понятным языком. Бесплатно, без спама.