Теперь NVIDIA Dynamo поддерживает идентификатор сессии, который позволяет серверам инференса обрабатывать цепочку запросов к LLM как единую программу. ID считывается из существующих заголовков популярных инструментов для программирования, таких как Claude Code, Codex и OpenCode. В собственные программные оболочки его можно добавить с помощью одного заголовка X‑Dynamo‑Session‑ID. Благодаря этому идентификатору Dynamo может маршрутизировать запросы, совместно использовать KV-кэш и приостанавливать сессии на границах вызовов инструментов, сокращая необходимость повторно загружать большие контексты.
Почему это важно
Разработчики ИИ-помощников для программирования могут снизить задержки: система повторно использует кэшированный контекст, а не загружает его каждый раз заново.
