Valkey объявила о выходе версии 9.2 и представила распределённый кэш «ключ — значение» с открытым исходным кодом для ИИ-инференса. Он позволяет движкам инференса повторно использовать вычисленные данные промптов и диалогов на нескольких GPU. Команды, использующие самостоятельно размещённые модели с открытыми весами, могут подключить кэш через LMCache в связке с vLLM или SGLang.
По словам Valkey, кэш может сократить расходы на инференс до 40%, а время до первого токена — до 80%. В обновлении также появились снимки без создания форка, которые помогают избежать скачков потребления памяти при резервном копировании, и сжатие репликации, позволяющее, как утверждает компания, сократить трафик примерно на 50–65%.
Почему это важно
Команды, запускающие модели с открытыми весами на собственных GPU-кластерах, могут попробовать повторно использовать результаты инференса через LMCache. Однако заявленная экономия — это оценка компании, а не гарантия для любой рабочей нагрузки.