Oossa

METR وظایف بازپایان را به نمودار پیشرفت هوش مصنوعی افزود

نمودار به‌روزشده این مؤسسه غیرانتفاعی نشان می‌دهد هوش مصنوعی همچنان هر چهار ماه یک‌بار در انجام وظایف ساده دو برابر پیشرفت می‌کند، اما در کارهای نیازمند قضاوت، مانند طراحی پژوهش، از انسان‌ها عقب است.

نویسنده: منتشرشده توسط Oossa: 2 دقیقه مطالعه

铮 夏 · Unsplash

MIT Technology Review گزارش می‌دهد که METR، مؤسسه غیرانتفاعی ارزیابی هوش مصنوعی، نسخه به‌روزشده‌ای از نمودار افق زمانی خود منتشر کرده است. در نمودار جدید، وظایفی گنجانده شده که انجامشان برای انسان بسیار بیشتر طول می‌کشد و به قضاوت بیشتری نیاز دارند؛ از جمله طراحی ارزیابی‌های هوش مصنوعی یا امتیازدهی به استدلال‌های فلسفی. نمودار اولیه که به‌طور گسترده دست‌به‌دست شد، پیشرفت را با مدت‌زمانی می‌سنجید که یک انسان برای انجام هر وظیفه نیاز دارد و نشان می‌داد مدل‌های پیشرو هر چهار ماه یک‌بار می‌توانند وظایف طولانی‌تری را انجام دهند؛ به‌طوری‌که این مدت دو برابر می‌شود. نسخه به‌روزشده این روند را برای وظایف ساده و قابل‌راستی‌آزمایی، مانند برنامه‌نویسی و ریاضی، حفظ می‌کند، اما شکاف فزاینده در انجام وظایف بازپایان را نیز نشان می‌دهد. وظایف اضافه‌شده قرار است توانایی‌هایی را محک بزنند که برای خودکارسازی پژوهش و توسعه اهمیت دارند. در وظیفه طراحی ارزیابی، حتی پیشرفته‌ترین مدل‌ها هم تنها «اندکی بالاتر از حد نصاب» عمل کردند و به سطحی نرسیدند که برای کارکنان METR مفید باشند. مدل‌ها در وظیفه استدلال فلسفی نیز پایین‌تر از متخصصان انسانی امتیاز گرفتند. پژوهشگرانی که در مقاله با آن‌ها گفت‌وگو شده می‌گویند این نتایج تعجب‌آور نیست؛ پژوهش‌های پیشین نشان داده بود که هوش مصنوعی هنوز نمی‌تواند به‌تنهایی پژوهش‌های علوم رایانه‌ای انسان‌ها را بازتولید کند. کارکنان خود METR هم یادآور می‌شوند که سنجش عملکرد در این وظایف دشوار است. برای بسیاری از وظایف جدید، تخمین زمان موردنیاز انسان جای آزمون عملی را می‌گیرد، چون پرداخت هزینه به افراد برای انجام کارهایی که صدها ساعت طول می‌کشند گران تمام می‌شود. بنابراین، گزارش تعداد کمتری از وظایف نیازمند قضاوت را دربر می‌گیرد و می‌پذیرد که داده‌های آن به استحکام مجموعه اولیه نیست. کارشناسانی چون Sayash Kapoor از UC Berkeley و Najoung Kim از Boston University گنجاندن این موارد را گامی مثبت می‌دانند، اما هشدار می‌دهند که روندهای مربوط به توانایی‌هایی که اندازه‌گیری‌شان دشوار است، همچنان پرنوسان خواهد بود. در مجموع، نمودار به‌روزشده پیشرفت سریع در وظایفی را تأیید می‌کند که راستی‌آزمایی موفقیت در آن‌ها آسان است، درحالی‌که پیشرفت در کارهای نیازمند قضاوت همچنان نامطمئن است. این نمودار احتمالاً بر نگاه جامعه به زمان‌بندی خودکارسازی پژوهش‌وتوسعه با هوش مصنوعی اثر خواهد گذاشت.

چرا وظایف جدید اهمیت دارند

اگر قرار است هوش مصنوعی به طراحی آزمایش‌های تازه یا نوشتن پیشنهادهای پژوهشی کمک کند، باید از پس وظایفی بربیاید که نمی‌توان آن‌ها را با یک آزمون ساده قبول یا رد سنجید. نمودار به‌روزشده METR نشان می‌دهد مدل‌های کنونی هنوز در این زمینه‌ها از انسان‌ها عقب‌اند؛ یعنی پژوهش کاملاً خودکار با هوش مصنوعی در آینده نزدیک محقق نمی‌شود. برای شرکت‌هایی که روی هوش مصنوعی به‌عنوان راهی برای سرعت‌بخشیدن به توسعه محصول حساب می‌کنند، این شکاف به این معناست که نباید انتظار داشته باشند استفاده از هوش مصنوعی برای تصمیم‌های راهبردی سطح‌بالا فوراً نتیجه بدهد. در عوض، این فناوری همچنان برای کارهای مشخص و قابل‌راستی‌آزمایی، مانند تولید کد یا تحلیل داده، قابل‌اتکاتر است.

چرا مهم است

برای کاربران عادی، این به‌روزرسانی یعنی ابزارهای هوش مصنوعی در کارهای روشن و مشخصی مثل برنامه‌نویسی همچنان بهتر می‌شوند، اما هنوز آماده جایگزینی قضاوت انسانی در برنامه‌ریزی پژوهش یا استدلال فلسفی نیستند. کسب‌وکارها باید همچنان برای خودکارسازی کارهای معمول از هوش مصنوعی استفاده کنند و در تصمیم‌های راهبردی انسان را در فرایند نگه دارند.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.