«Тантор Лабс» и разработчик платформы «Боцман», обе компании входят в «Группу Астра», представили программно-аппаратное решение для хранения KV-cache — промежуточных данных, нужных языковой модели при генерации ответа. Оно переносит кэш из ограниченной видеопамяти GPU в NVMe-хранилище по быстрому сетевому соединению RDMA и позволяет повторно использовать сохранённые данные.
Решение интегрируется с vLLM, LMCache и Nvidia Dynamo; компания заявляет о поддержке ускорителей Nvidia, AMD и ряда китайских производителей. В испытаниях на одинаковых серверах, моделях и нагрузке разработчики сообщили, что модуль позволил обслуживать в четыре раза больше клиентов на тех же GPU при соблюдении заданной задержки. Модель, параметры теста и независимая проверка результата в материале не указаны.
Почему это важно
Для компаний, запускающих корпоративные ИИ-сервисы, вынос кэша может помочь обслуживать больше клиентов на имеющихся GPU; неизвестно, повторится ли заявленный четырёхкратный результат на их моделях и нагрузках.
