Oossa

Cambrian-BEV استدلال ویدیویی را با توکن‌های دید از بالا سرعت می‌بخشد

روش تازه توکن‌سازی، 128 فریم ویدیو را به 729 توکن فضایی فشرده می‌کند و زمان پیش‌پردازش LLM را 2.9× و حافظه را 3.6× کاهش می‌دهد.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

پژوهشگران Cambrian-BEV را معرفی کرده‌اند؛ روشی برای نگاشت بخش‌های تصویری ویدیو روی یک شبکه مشترک با دید از بالا. این روش با استفاده از عمق و موقعیت دوربین، مشاهدات یک مکان واحد را فارغ از زاویه دید یا زمان ثبت آن‌ها با هم ادغام می‌کند. معماری مدل دست‌نخورده می‌ماند، اما توکن‌های فریم با توکن‌های BEV در شبکه 27×27 جایگزین می‌شوند. این روش در آزمون VSI-Bench امتیاز 63.48 گرفت؛ یعنی 8.5 امتیاز بیشتر از خط پایه مبتنی بر توکن‌های فریم، آن هم با استفاده از توکن‌های بسیار کمتر.

چرا مهم است

این روش به توسعه‌دهندگان امکان می‌دهد دستیارهای هوش مصنوعی سریع‌تر و کم‌حجم‌تری بسازند که با اتکاپذیری بیشتری درباره فضا استدلال می‌کنند.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.