NVIDIA Dynamoがセッション単位の識別子に対応し、推論サーバーが一連のLLM呼び出しを1つのプログラムとして扱えるようになった。このIDはClaude Code、Codex、OpenCodeなどの主要なコーディングエージェントが既存のヘッダーに含めている情報から読み取れるほか、カスタムハーネスではX‑Dynamo‑Session‑IDヘッダーを1つ追加するだけで利用できる。Dynamoはこの識別子を使ってリクエストをルーティングし、KVキャッシュを共有できる。また、ツールの実行境界でセッションを一時停止し、大きなコンテキストを再度プリフィルする必要を減らせる。
なぜ重要か
AIコーディングアシスタントの開発者は、コンテキストを繰り返し読み込む代わりにキャッシュを再利用することで、レイテンシの低下が期待できる。