انویدیا چهار مدل شبیه‌سازی Cosmos 3 را منتشر کرد

انویدیا چهار مدل با وزن‌های باز از خانواده Cosmos 3 را برای ساخت شبیه‌سازی‌های تعاملی رانندگی و رباتیک منتشر کرده است. این مدل‌ها با مجوز OpenMDW1.1 در Hugging Face در دسترس‌اند؛ مجوزی که با رعایت مفادش، استفاده تجاری و غیرتجاری را مجاز می‌داند. هرکدام نسخه‌ای از Cosmos 3 Nano هستند که پس از آموزش تکمیلی، 16 میلیارد پارامتر آموزش‌پذیر دارند.

هر مدل برای کاری متفاوت طراحی شده است. Cosmos3-Nano-Transfer-Auto کلیپ‌های رانندگی آفلاین را با حداکثر 11 نمای دوربین می‌سازد و می‌تواند داده‌های متناظر LiDAR را هم تولید کند؛ LiDAR نوعی سنجش فاصله سه‌بعدی است. Cosmos3-Nano-Sim-Auto با تغییر کنترل‌های رانندگی، داده‌های دوربین و LiDAR را به‌صورت تکه‌های پیاپی تولید می‌کند. Cosmos3-Nano-Sim-Transfer کنترل‌های شبیه‌ساز را به ویدئوی RGB تبدیل می‌کند و Cosmos3-Nano-Sim-Bimanual نیز بر اساس حرکت ربات یا دوربین، برای سامانه‌های دو‌بازویی ویدئو پیش‌بینی می‌کند.

چه چیزهایی را شبیه‌سازی می‌کنند؟

مدل‌های رانندگی از کنترل‌های World Scenario Map برای توصیف ساختار جاده و حرکت ترافیک استفاده می‌کنند. توسعه‌دهندگان می‌توانند شرایطی مانند آب‌وهوا، نورپردازی و زمان روز را تغییر دهند؛ همچنین تصاویر آغازینِ اختیاری به شکل‌گیری ظاهر صحنه کمک می‌کنند. به‌گفته انویدیا، Transfer-Auto می‌تواند ویدئوی هم‌زمان را با نرخ حداکثر 30 فریم‌برثانیه تولید کند و کلیپ‌هایی تا 400 فریم با وضوح 480p یا 720p بسازد. توالی‌های طولانی‌تر را می‌توان در چند بخش تولید کرد.

Sim-Auto برای استفاده تعاملی و پیوسته طراحی شده است: یک سیاست رانندگی یا کاربر کنترل‌ها را تغییر می‌دهد و مدل مشاهدات بعدی را تولید می‌کند. این چرخه بسته به محیط اجرای شبیه‌سازی و رندرکننده هم نیاز دارد تا کنترل‌های سناریو را به‌روزرسانی کنند. در حوزه رباتیک، Sim-Bimanual از پیکربندی‌های ربات YAM و AgiBot پشتیبانی می‌کند و کنترل‌هایی برای دست‌کاری اشیا و تغییر زاویه دید دوربین دارد.

توسعه‌دهندگان به چه چیزهایی نیاز دارند؟

Cosmos Framework انویدیا دستورالعمل‌هایی برای آموزش و استنتاج فراهم می‌کند تا مدل‌ها با حسگرها، کنش‌ها و داده‌های جدید سازگار شوند. به‌گفته انویدیا، نمونه‌های این چارچوب را می‌توان با PyTorch یا vLLM-Omni روی پردازنده‌های گرافیکی Hopper و Blackwell اجرا کرد. دستورالعمل‌های Hugging Face برای راه‌اندازی Sim-Bimanual، Linux، یک پردازنده گرافیکی NVIDIA، Docker و NVIDIA Container Toolkit را لازم می‌دانند. انویدیا می‌گوید این پیکربندی را روی یک پردازنده گرافیکی GB200 آزمایش کرده، اما این موضوع به‌معنای تعیین حداقل حافظه موردنیاز نیست.

این مدل‌ها مشاهدات را تولید می‌کنند، اما جایگزین همه اجزای شبیه‌ساز نیستند. برای نمونه، در Sim-Transfer شبیه‌ساز همچنان حرکت و وضعیت فیزیکی را محاسبه می‌کند و مدل نمای حاصل را رندر می‌کند. انویدیا می‌گوید پژوهشگران هنوز باید بررسی کنند که آیا این مدل‌ها به‌طور قابل‌اعتماد از آموزش و ارزیابی سیاست‌ها پشتیبانی می‌کنند یا نه.