Oossa

Valkey 9.2 добавляет общий кэш для ИИ-инференса

В хранилище данных с открытым исходным кодом появились распределённый KV-кэш и функции, призванные сократить расход памяти при резервном копировании, трафик репликации и накладные расходы на большие отсортированные множества.

ЗаметкаАвтор: Опубликовано Oossa: 1 мин чтения

Valkey объявила о выходе версии 9.2 и представила распределённый кэш «ключ — значение» с открытым исходным кодом для ИИ-инференса. Он позволяет движкам инференса повторно использовать вычисленные данные промптов и диалогов на нескольких GPU. Команды, использующие самостоятельно размещённые модели с открытыми весами, могут подключить кэш через LMCache в связке с vLLM или SGLang.

По словам Valkey, кэш может сократить расходы на инференс до 40%, а время до первого токена — до 80%. В обновлении также появились снимки без создания форка, которые помогают избежать скачков потребления памяти при резервном копировании, и сжатие репликации, позволяющее, как утверждает компания, сократить трафик примерно на 50–65%.

Почему это важно

Команды, запускающие модели с открытыми весами на собственных GPU-кластерах, могут попробовать повторно использовать результаты инференса через LMCache. Однако заявленная экономия — это оценка компании, а не гарантия для любой рабочей нагрузки.

Эта статья была полезной?
Поделиться

Читайте также

Oossa · Рассылка

Неделя ИИ — простыми словами

Каждый понедельник: главное за неделю понятным языком. Бесплатно, без спама.