Oossa

مسیریابی آگاه از نشست به NVIDIA Dynamo اضافه شد

قابلیت جدید Dynamo با استفاده از شناسه‌ای پایدار برای نشست، زمینه را در چند نوبت در حافظهٔ نهان نگه می‌دارد و سرعت دستیارهای برنامه‌نویسی و عامل‌های مجهز به ابزار را افزایش می‌دهد.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

NVIDIA Dynamo اکنون از شناسه‌ای در سطح نشست پشتیبانی می‌کند که به سرورهای استنتاج امکان می‌دهد زنجیره‌ای از فراخوانی‌های LLM را یک برنامهٔ واحد در نظر بگیرند. این شناسه از سرآیندهای موجودِ عامل‌های برنامه‌نویسی محبوبی مانند Claude Code، Codex و OpenCode خوانده می‌شود و می‌توان آن را با افزودن یک سرآیند X‑Dynamo‑Session‑ID به چارچوب‌های سفارشی هم اضافه کرد. Dynamo با این شناسه می‌تواند درخواست‌ها را مسیریابی کند، حافظهٔ نهان KV را به‌اشتراک بگذارد و نشست‌ها را در مرزهای استفاده از ابزار متوقف کند؛ در نتیجه، نیاز به بارگذاری دوبارهٔ زمینه‌های بزرگ کاهش می‌یابد.

چرا مهم است

تأخیر برای توسعه‌دهندگان دستیارهای برنامه‌نویسی هوش مصنوعی می‌تواند کمتر شود، چون سیستم زمینهٔ ذخیره‌شده در حافظهٔ نهان را دوباره به‌کار می‌گیرد و مجبور نیست هر بار آن را از نو بارگذاری کند.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.