أطلقت NVIDIA أربعة نماذج مفتوحة الأوزان ضمن عائلة Cosmos 3 لإنشاء محاكاة تفاعلية للقيادة والروبوتات. تتوفر نقاط التحقق على Hugging Face بموجب ترخيص OpenMDW1.1، الذي يتيح الاستخدام التجاري وغير التجاري وفقًا لشروطه. وكل نموذج منها نسخة خضعت لتدريب لاحق من Cosmos 3 Nano، وتضم 16 مليار مُعامل قابل للتدريب.
تؤدي النماذج مهام مختلفة. ينشئ Cosmos3-Nano-Transfer-Auto مقاطع قيادة غير متصلة بالإنترنت عبر ما يصل إلى 11 زاوية كاميرا، ويمكنه توليد بيانات LiDAR مطابقة، وهي نوع من قياسات المسافة ثلاثية الأبعاد. أما Cosmos3-Nano-Sim-Auto فيولّد مشاهد الكاميرا وLiDAR على دفعات متتابعة مع تغيّر أوامر القيادة. ويحوّل Cosmos3-Nano-Sim-Transfer أوامر المحاكي إلى فيديو RGB، بينما يتنبأ Cosmos3-Nano-Sim-Bimanual بالفيديو انطلاقًا من أوامر الروبوت أو الكاميرا في إعدادات الروبوتات ذات الذراعين.
ما الذي تحاكيه؟
تستخدم نماذج القيادة أوامر World Scenario Map لوصف بنية الطريق وحركة المرور. ويمكن للمطورين تغيير ظروف مثل الطقس والإضاءة ووقت اليوم، كما تساعد صور البداية الاختيارية في توجيه مظهر المشهد. وتقول NVIDIA إن Transfer-Auto يستطيع توليد فيديو متزامن بمعدل يصل إلى 30 إطارًا في الثانية، بمقاطع تصل إلى 400 إطار بدقة 480p أو 720p؛ ويمكن إنشاء تسلسلات أطول على دفعات.
صُمم Sim-Auto للاستخدام التفاعلي المستمر: إذ يغيّر نظام قيادة آلي أو شخص ما الأوامر، فيولّد النموذج المشاهدات التالية. وتتطلب حلقة التغذية الراجعة هذه أيضًا بيئة تشغيل للمحاكاة وبرنامجًا لعرض الرسوميات من أجل تحديث أوامر السيناريو. وفي مجال الروبوتات، يدعم Sim-Bimanual إعدادات روبوتات YAM وAgiBot، مع أوامر للتحكم في التلاعب بالأجسام وتغيير زاوية الكاميرا.
ما الذي يحتاج إليه المطورون؟
يوفر Cosmos Framework من NVIDIA وصفات للتدريب والاستدلال، تتيح تكييف النماذج مع مستشعرات وأوامر وبيانات جديدة. ووفقًا لـNVIDIA، يمكن تشغيل أمثلتها باستخدام PyTorch أو vLLM-Omni على وحدات معالجة الرسوميات Hopper وBlackwell. وتذكر تعليمات Hugging Face أن إعداد Sim-Bimanual يتطلب Linux ووحدة معالجة رسومية من NVIDIA وDocker وNVIDIA Container Toolkit. وتقول NVIDIA إن هذا الإعداد اختُبر على وحدة GB200 GPU واحدة، لكن ذلك لا يعني أنه الحد الأدنى لمتطلبات الذاكرة.
تولّد هذه النماذج مشاهدات، لكنها لا تحل محل جميع مكونات المحاكي. ففي Sim-Transfer مثلًا، يظل المحاكي مسؤولًا عن حساب الحركة والحالة الفيزيائية، فيما يعرض النموذج المشهد الناتج. وتقول NVIDIA إن الباحثين ما زالوا بحاجة إلى قياس مدى موثوقية هذه النماذج في دعم تدريب أنظمة القيادة الآلية وتقييمها.
لماذا يهم
تتيح هذه النماذج للباحثين في الروبوتات والقيادة الذاتية توليد مشاهدات متنوعة من المستشعرات، أو اختبار استجابة نظام القيادة الآلية لتغيّر الأوامر. لكنها تتطلب عتادًا متوافقًا من NVIDIA، كما تتطلب القيادة ذات الحلقة المغلقة بيئة تشغيل للمحاكاة. ولا يزال يتعين قياس مدى قدرة المشاهد المولّدة على دعم الأداء في العالم الحقيقي.
