# «Тантор Лабс» вынесла KV-кэш ИИ-моделей в NVMe

> Решение с платформой «Боцман» переносит кэш из видеопамяти GPU во внешнее хранилище. В испытаниях компании заявили о четырёхкратном росте числа клиентов на тех же GPU.

Oossa · 2026-10-23 · https://oossa.com/ru/kv-nvme

«Тантор Лабс» и разработчик платформы «Боцман», обе компании входят в «Группу Астра», представили программно-аппаратное решение для хранения KV-cache — промежуточных данных, нужных языковой модели при генерации ответа. Оно переносит кэш из ограниченной видеопамяти GPU в NVMe-хранилище по быстрому сетевому соединению RDMA и позволяет повторно использовать сохранённые данные.

Решение интегрируется с vLLM, LMCache и Nvidia Dynamo; компания заявляет о поддержке ускорителей Nvidia, AMD и ряда китайских производителей. В испытаниях на одинаковых серверах, моделях и нагрузке разработчики сообщили, что модуль позволил обслуживать в четыре раза больше клиентов на тех же GPU при соблюдении заданной задержки. Модель, параметры теста и независимая проверка результата в материале не указаны.

## Факты

- Решение представили 23 октября 2026 года.
- В испытаниях разработчики заявили о четырёхкратном росте числа обслуживаемых клиентов на тех же GPU.

## Почему это важно

Для компаний, запускающих корпоративные ИИ-сервисы, вынос кэша может помочь обслуживать больше клиентов на имеющихся GPU; неизвестно, повторится ли заявленный четырёхкратный результат на их моделях и нагрузках.

## Источники и ссылки

1. [Представлен программно аппаратный AI KV cache offloading с управлением на платформе «Боцман»](https://www.cnews.ru/news/line/2026-10-23_predstavlen_programmno_apparatnyj) – CNews, 2026-10-23

Обновлено: 2026-10-23