NVIDIA Dynamo अब सेशन-स्तर के पहचानकर्ता को सपोर्ट करता है, जिससे इन्फ़रेंस सर्वर LLM कॉल की पूरी शृंखला को एक ही प्रोग्राम की तरह देख सकते हैं। यह ID Claude Code, Codex और OpenCode जैसे लोकप्रिय कोडिंग एजेंट के मौजूदा हेडर से पढ़ी जाती है। कस्टम हार्नेस में इसे X‑Dynamo‑Session‑ID हेडर के ज़रिए जोड़ा जा सकता है। इस पहचानकर्ता की मदद से Dynamo अनुरोधों को सही जगह भेज सकता है, KV cache साझा कर सकता है और टूल के इस्तेमाल के बीच सेशन रोक सकता है—जिससे बड़े संदर्भ को बार-बार प्रीफ़िल करने की ज़रूरत घटती है।
यह क्यों मायने रखता है
AI कोडिंग असिस्टेंट बनाने वाले डेवलपर कम लेटेंसी का लाभ देख सकते हैं, क्योंकि सिस्टम संदर्भ को बार-बार लोड करने के बजाय कैश में मौजूद संदर्भ का फिर से इस्तेमाल करता है।
