Runway مدل کنترل ربات Praxis-1 را منتشر کرده است؛ وزن‌ها و کد منبع این مدل با مجوز Apache 2.0 در دسترس‌اند و استفاده تجاری را مجاز می‌کنند. مدل تصاویر دوربین، دستورهای متنی و اطلاعات مربوط به موقعیت ربات را دریافت می‌کند، سپس پیش‌بینی می‌کند صحنه چگونه تغییر خواهد کرد و ربات باید چه حرکت‌هایی انجام دهد. با رسیدن فریم‌های تازه دوربین، کنترل خود را تنظیم می‌کند.
Runway نخستین بار در اواخر سپتامبر Praxis-1 را معرفی کرد و در ابتدا آن را فقط در اختیار شرکای منتخب گذاشت. شرکت‌های رباتیک Standard Bots، Noble Machines و Ultra از آن زمان این مدل را روی سامانه‌های مختلفی آزمایش کرده‌اند؛ از جمله یک ربات انسان‌نما، بازوی صنعتی و ربات انبارداری دو‌بازویی. توسعه‌دهندگان پس از ثبت‌نام و پذیرش شرایط دسترسی می‌توانند مدل را از Hugging Face دریافت کنند؛ کد آن نیز در GitHub قرار دارد.
عملکرد آن چگونه است؟
Praxis-1 بر پایه یک مدل ویدیویی ساخته شده که برای درک حرکت و تعامل اشیا آموزش دیده است. Runway این مدل را با ویدیوهای کنش‌های انسانی و داده‌های ربات‌ها تنظیم دقیق کرده تا از آموخته‌هایش از تصاویر و ویدیوهای معمولی استفاده کند. این رویکرد ممکن است نیاز به داده‌های اختصاصی ربات را کاهش دهد، اما این موضوع هنوز ثابت نشده است: Runway همچنان برای سازگار کردن Praxis-1 با بازوی Franka از حدود 277 ساعت ضبط ربات DROID و برای یک ربات دو‌بازویی از 1,400 تا 2,600 ساعت داده استفاده کرده است.
Praxis-1 در بنچمارک شبیه‌سازی RoboLab-120 شرکت Nvidia، که 120 وظیفه مرتب‌سازی اشیا، گرفتن و روی‌هم‌چیدن آن‌ها را می‌سنجد، به نرخ موفقیت 46.2% رسید. امتیاز FLUX 3 Action در شرایط یکسان 42.9% بود. Praxis-1 در میان مدل‌های World Action Models ــ دسته‌ای از سامانه‌ها که برای هدایت کنش‌ها، تغییرات صحنه را پیش‌بینی می‌کنند ــ رتبه اول و در مجموع رتبه پنجم را کسب کرد. Runway این آزمایش‌ها را انجام داده و نتایج مستقلاً تأیید نشده‌اند.
در آزمایش روی بازوی واقعی Franka، Praxis-1 در 88 مورد از 100 تلاش در ده وظیفه موفق شد؛ این رقم برای FLUX 3 Action برابر با 80 مورد بود. در یک شبیه‌سازی جداگانه با پلتفرم رباتیکی که در آموزش قبلی مدل استفاده نشده بود، Praxis-1 پس از تنظیم دقیق با حدود 95 ساعت داده ربات به نرخ موفقیت 80% رسید. Runway می‌گوید RT-1 اصلی Google در همین بنچمارک امتیاز 52.4% گرفته است.
محدودیت‌های آن چیست؟
مدل پایه برای کار با هر ربات جدید به آموزش بیشتر نیاز دارد. نسخه استاندارد آن به یک GPU با 80 GB حافظه نیاز دارد. Runway برآورد می‌کند نسخه فشرده روی RTX 5090 با 32 GB جا بگیرد، هرچند اوج مصرف حافظه آن اندازه‌گیری نشده است. Runway همچنین می‌گوید Praxis-1 ممکن است اشیای شبیه به هم را با هم اشتباه بگیرد و در اجرای دستورهای مبهم مشکل داشته باشد. وظایف پیچیده باید به گام‌های روشن تقسیم شوند، زیرا مدل هنوز نمی‌تواند به‌تنهایی دنباله‌های طولانی کنش را با اطمینان برنامه‌ریزی کند.
چرا مهم است
توسعه‌دهندگان ربات می‌توانند Praxis-1 را دریافت کنند و کد آن را با مجوزی که استفاده تجاری را مجاز می‌کند بررسی یا تغییر دهند؛ با این حال، مدل پایه برای هر ربات جدید به آموزش بیشتر نیاز دارد. نتایج Runway امیدوارکننده‌اند، اما این شرکت خودش آزمایش‌ها را انجام داده و نتایج مستقلاً تأیید نشده‌اند. بنابراین هنوز روشن نیست مدل در محیط کاری دیگر توسعه‌دهندگان چقدر خوب عمل می‌کند یا پیش‌آموزش با ویدیو واقعاً نیاز به داده را کاهش می‌دهد یا نه.
