NVIDIA Dynamo ahora admite un identificador a nivel de sesión que permite a los servidores de inferencia tratar una cadena de llamadas a LLM como un único programa. El ID se obtiene de encabezados existentes de agentes de programación populares, como Claude Code, Codex y OpenCode, y puede añadirse a entornos personalizados mediante un único encabezado X‑Dynamo‑Session‑ID. Con este identificador, Dynamo puede enrutar solicitudes, compartir la caché KV y pausar sesiones cuando se usan herramientas, lo que reduce la necesidad de volver a procesar contextos extensos desde el principio.
Por qué importa
Los desarrolladores de asistentes de programación con IA pueden reducir la latencia porque el sistema reutiliza el contexto almacenado en caché en vez de cargarlo una y otra vez.
