انویدیا از مدل هوش مصنوعی جدیدی به نام GR00T 2 رونمایی کرد. این سامانه ویدئوی اول‌شخصِ انجام کارها توسط انسان‌ها را تماشا می‌کند و سپس هم آنچه ربات خواهد دید و هم نحوه حرکتش را پیش‌بینی می‌کند. در آزمایش‌های آزمایشگاهی، رباتی با دست‌های پنج‌انگشتی توانست بدون هدایت مستقیم از راه دور برای انجام این کارها، کبریت روشن کند، موز ببرد یا بسته‌ها را پرتاب کند.
انویدیا GR00T 2 را یک مدل جهان-کنش (WAM) توصیف می‌کند. برخلاف نسخه قبلی، GR00T 1، این مدل به فرمان‌های زبانیِ همراه با تصویر نیاز ندارد. در عوض، با استفاده از یک ترنسفورمر انتشار، هم‌زمان فریم بعدی ویدئو و فرمان حرکتی متناظر با آن را پیش‌بینی می‌کند و نویز ویدئو و حرکت‌های آینده را می‌زداید.
مدل چگونه یاد می‌گیرد
این مدل با مجموعه‌داده‌ای عظیم آموزش دیده که شامل حدود 400,000 ساعت ویدئوی سربند از کار انسان‌ها، 10,184 ساعت نمایش کار با گریپر دستی UMI و 23,500 ساعت هدایت ربات از راه دور است. انویدیا می‌گوید بخش عمده داده‌ها را ویدئوهای انسانی تشکیل می‌دهند و افزایش حجم این ویدئوها، موفقیت ربات در انجام وظایف را در ربات‌های واقعی از 50 % به 70 % می‌رساند.
وقتی ربات جدیدی باید کاری را یاد بگیرد، انسان می‌تواند مراحل آن را با دستکش‌های داده یا اسکلت بیرونی انگشتان نمایش دهد. سامانه در پیش‌بینی ویدئویی خود بازوی انسان را با بازوی ربات جایگزین می‌کند و فرمان‌های کنترلی متناظر را استخراج می‌کند. انویدیا گزارش می‌دهد که پس از کمتر از سه دقیقه آموزش معمول، نرخ موفقیت با تنها چند نمایش از 40 % به 95 % افزایش یافته است.
عملکرد و محدودیت‌ها
در آزمایش‌های کنترل‌شده، ربات با تماشای یک ویدئوی انسانی توانست میخ بکوبد و وقتی با یک مدل زبانیِ سطح‌بالاتر مانند GPT‑6 Astra همراه شد، در 97 % از آزمایش‌ها ماشین‌های اسباب‌بازی را مونتاژ کرد. بدون مدل زبانی، موفقیت به 23 % کاهش یافت. نسخه باریک‌تر این مدل، GR00T 2 Turbo، برای ربات‌های دوپا روی رایانه داخلی Jetson Thor اجرا می‌شود؛ هر پیش‌بینی را در 124 ms انجام می‌دهد و از پس کارهایی مانند برداشتن پاپ‌کورن با قاشق، جمع‌کردن میز و پاک‌کردن مایعات برمی‌آید، هرچند پاک‌کردن مایعات در کمتر از نیمی از تلاش‌ها موفق بود.
انویدیا به چند مانع اشاره می‌کند: مدل هنوز نمی‌تواند از حسگرهای لمسی مستقیم استفاده کند، گاهی خطاهای ظریف را تشخیص نمی‌دهد و مدل زبانی در هر مرحله برنامه‌ریزی حدود هفت ثانیه تأخیر ایجاد می‌کند. در نتیجه، هنگام آزمایش دسته‌بندی زباله، ربات حدود یک‌سوم زمان بیکار می‌ماند.
چرا مهم است
برای تولیدکنندگان، این مدل می‌تواند زمان و هزینه برنامه‌ریزی بازوهای رباتیک برای کارهای تازه را کاهش دهد، چون شاید یک نمایش انسانی کافی باشد. بااین‌حال، نیاز فعلی به مدل‌های زبانی بیرونی و نبود حسگر لمسی نشان می‌دهد که ربات‌ها هنوز برای کار در خطوط تولید کاملاً قابل‌اعتماد آماده نیستند.
