OpenAI میگوید پژوهشگرانش بیش از گذشته از عاملهای کدنویسی استفاده میکنند، هرچند این سامانهها در مهندسی پیچیده مشکل دارند و کدی تولید میکنند که باید با دقت بازبینی شود. در اکتبر، میزان استفاده روزانه پژوهشگر میانه از ابزارهای داخلی مانند Codex و Dots، بر اساس قیمت عادیِ فهرستشده برای API، معادل 2,400 دلار توکن بود؛ 62 درصد بیشتر از سپتامبر. برای 10 درصد از کاربرانِ فعالتر، این رقم به معادل 23,000 دلار در روز رسید.
این ارقام برآوردی از هزینه استفاده بر مبنای قیمتهای عمومی فهرستشدهاند؛ نه پرداخت نقدی و نه حقوق واقعی پژوهشگران. OpenAI میگوید عاملها در هر روز تقویمی، بهازای هر پژوهشگر معادل 5.7 روز کاریِ هشتساعته فعالیت کردند؛ این رقم برای تیمهای پیشآموزش و پسآموزش حدود هشت روز بود. بیش از دوسوم پژوهشگرانِ رصدشده در اوج استفاده، دستکم چهار عامل را همزمان اجرا کردند. مقایسه هزینه عاملها با هزینه حقوق کارکنان، بر پایه ارقام سپتامبر انجام شده و سهام را در بر نمیگیرد؛ OpenAI میگوید سهام 70 تا 80 درصد از کل دریافتی کارکنانش را تشکیل میدهد. استفاده از عاملها 2 درصد از کل محاسبات پژوهشی شرکت را به خود اختصاص داد.
عاملها در کارهای روزمره بهتر عمل میکنند
به گزارش OpenAI، سهم عاملهای خودکاری که وظایف دو تا چهارساعته را بدون دخالت انسان انجام میدهند، از 23 درصد در مارس به 46 درصد در اکتبر رسیده است. در وظایف چهار تا هشتساعته نیز نرخ موفقیت گزارششده از 13 به 35 درصد افزایش یافت. نتیجهها بسته به نوع کار تفاوت زیادی دارند: عاملها 79 درصد مواقع پایش اجراهای آموزشی را با موفقیت انجام دادند و در 72 درصد موارد به پرسشهای فنی پاسخ دادند؛ اما هنگام ساخت محیطهای ارزیابی یا یادگیری تقویتی فقط در 29 درصد موارد موفق بودند و در نوشتن کد برای سامانههای استنتاج و ارائه خدمات، نرخ موفقیتشان 25 درصد بود.
این شرکت همچنین از استقبال زیاد کارکنان از این ابزارها میگوید، اما هشدار میدهد که نظرسنجیهایش محدودند. در یک نظرسنجی داخلی و غیرنماینده از 101 کارمند، پاسخدهنده میانه گفت ترجیح میدهد 40 درصد از کارکنان تیمش یا 30 درصد از ظرفیت محاسباتی آن را از دست بدهد، تا اینکه سه ماه بدون عاملهای کدنویسی فعلی بماند. در یک نظرسنجی سریع و جداگانه از 28 کارمند، 27 نفر مدل داخلی جدیدتر را به یک مهندس انسانیِ میانرده ترجیح دادند. این پاسخها نشاندهنده اشتیاق کارکنانِ شرکتکننده در نظرسنجی است، نه معیاری کلی از عملکرد عاملها.
قضاوت انسانی همچنان اهمیت دارد
گفتوگو با ده پژوهشگر OpenAI به ضعفی پایدار اشاره دارد: عاملها فاقد چیزی هستند که مصاحبهشوندگان برای ایدههای پژوهشیِ امیدبخش و کد یا داده باکیفیت، «سلیقه» نامیدند. آنها ممکن است فرضهای نادرست داشته باشند، گامهای غیرضروری بردارند و تغییرات کد یا دادهای تولید کنند که پژوهشگران نتوانند از آن استفاده کنند. پژوهشگران گفتند نظارت دقیق برای جلوگیری از هدررفتن زمان محاسباتی لازم است. تیمهای پسآموزش و ایمنی گفتند ایدههای کلیدی GPT-6 Astra و GPT-6.2 Astra را انسانها مطرح کردند؛ برخی پژوهشگران پیشآموزش نیز گفتند Codex هنگام کار روی GPT-6.2 Astra به آنها در رسیدن به بینشهای مهم کمک کرد.
OpenAI این ارقام را نشانهای از شتابگرفتن پژوهش و امکان خودبهبودیِ بازگشتی میداند؛ وضعیتی که در آن هوش مصنوعی به ساخت سامانههای هوش مصنوعیِ بعدی کمک میکند. بااینحال، شرکت هشدار میدهد که نتایج فعلی ممکن است بهطور خطی مقیاسپذیر نباشند. The Decoder همچنین اشاره میکند که METR در بررسی 11 هفتهای خود برآورد کرد استفاده از هوش مصنوعی سرعت توسعه در Anthropic را تقریباً دو برابر کرده است؛ این برآورد متعلق به سازمانی دیگر است و مقایسه مستقیمی با OpenAI به شمار نمیرود. OpenAI اوایل سپتامبر گفته بود به هدف خود برای ساخت یک کارآموز پژوهشیِ هوش مصنوعیِ خودکار رسیده است؛ در همان زمان، دانشمند ارشد شرکت، Jakub Pachocki، درباره خلأهای کنترل و نظارت هشدار داد.
چرا مهم است
برای کسانی که روند انجام پژوهشهای هوش مصنوعی را دنبال میکنند، ارقام OpenAI نشان میدهد عاملهای کدنویسی میتوانند بخشی از کارهای روزمره را برعهده بگیرند و پژوهشگران این شرکت به دسترسی به آنها اهمیت میدهند. اما شکستهای گزارششده در مهندسی پیچیده و روایت پژوهشگران از خروجیهای غیرقابلاستفاده نشان میدهد دادههای شرکت ثابت نمیکند عاملها میتوانند جای قضاوت پژوهشی را بگیرند یا در تمام مراحل، مستقل کار کنند.