Oossa

باحثو OpenAI يعتمدون على وكلاء البرمجة رغم محدوديتهم

تقول OpenAI إن استخدام باحثيها لوكلاء البرمجة ارتفع بشدة. وتؤدي هذه الأدوات المهام الروتينية جيدًا، لكنها لا تزال بحاجة إلى إشراف بشري وثيق.

بقلم نشرته Oossa: 3 دقائق قراءة

Mohammad Rahmani · Unsplash

تقول OpenAI إن باحثيها باتوا يعتمدون أكثر على وكلاء البرمجة، رغم تعثر هذه الأنظمة في المهام الهندسية المعقدة وإنتاجها شيفرات تتطلب مراجعة دقيقة. ففي أكتوبر، بلغ وسيط استخدام الباحثين للأدوات الداخلية مثل Codex وDots ما يعادل $2,400 من الرموز يوميًا وفق أسعار القائمة المعتادة لواجهات API، بزيادة قدرها 62 percent مقارنة بسبتمبر. أما لدى أكثر 10 percent من المستخدمين نشاطًا، فبلغت القيمة ما يعادل $23,000 يوميًا.

هذه الأرقام تقدّر تكلفة الاستخدام وفق أسعار القائمة العامة؛ وليست مبالغ دُفعت نقدًا أو رواتب فعلية للباحثين. وتقول OpenAI إن الوكلاء عملوا بما يعادل 5.7 أيام عمل، مدة كل منها ثماني ساعات، لكل باحث في اليوم التقويمي، ونحو ثمانية أيام في فرق ما قبل التدريب وما بعده. وشغّل أكثر من ثلثي الباحثين الذين شملهم التتبع أربعة وكلاء على الأقل بالتزامن في أوقات ذروة الاستخدام. وتعتمد مقارنة الشركة بين تكلفة الوكلاء والرواتب على أرقام سبتمبر، ولا تشمل الأسهم، التي تقول OpenAI إنها تشكل 70 to 80 percent من إجمالي تعويضات موظفيها. ومثّل استخدام الوكلاء 2 percent من إجمالي الحوسبة البحثية في الشركة.

أداء أفضل في المهام الروتينية

تقول OpenAI إن نسبة المهام التي أنجزها وكلاء مستقلون من دون تدخل بشري، وكانت تستغرق من ساعتين إلى أربع ساعات، ارتفعت من 23 percent في مارس إلى 46 percent في أكتوبر. وفي المهام التي تستغرق من أربع إلى ثماني ساعات، ارتفعت نسبة النجاح المعلنة من 13 إلى 35 percent. لكن النتائج تختلف كثيرًا بحسب المهمة: فقد أنجز الوكلاء مهام مراقبة عمليات التدريب في 79 percent من الحالات، وأجابوا عن الأسئلة التقنية في 72 percent منها، بينما لم ينجحوا إلا في 29 percent من الحالات عند بناء بيئات التقييم أو التعلم المعزز، وفي 25 percent عند كتابة شيفرات أنظمة الاستدلال وتقديم الخدمة.

وتصف الشركة أيضًا إقبالًا كبيرًا من الموظفين على هذه الأدوات، مع التنبيه إلى محدودية استطلاعاتها. ففي استطلاع داخلي غير تمثيلي شمل 101 موظفًا، قال المجيب الوسيط إنه يفضّل خسارة 40 percent من أفراد فريقه أو 30 percent من قدرته الحاسوبية على قضاء ثلاثة أشهر من دون وكلاء البرمجة الحاليين. وفي استطلاع سريع منفصل شمل 28 موظفًا، فضّل 27 منهم أحدث نموذج داخلي على مهندس بشري في منتصف مسيرته المهنية. وتعكس هذه الإجابات حماس الموظفين الذين شملهم الاستطلاع، لا مقياسًا عامًا لأداء الوكلاء.

الحكم البشري لا يزال مهمًا

تشير مقابلات مع عشرة باحثين في OpenAI إلى نقطة ضعف مستمرة: إذ تفتقر الوكلاء، بحسب وصف المشاركين، إلى «الذائقة» اللازمة لاختيار أفكار بحثية واعدة وإنتاج شيفرات أو بيانات جيدة. وقد تبني افتراضات خاطئة، أو تتخذ خطوات غير ضرورية، أو تنتج تعديلات على الشيفرات أو بيانات لا يستطيع الباحثون استخدامها. وقال الباحثون إن الإشراف الوثيق ضروري لتجنب هدر وقت الحوسبة. وأفادت فرق تعمل على التدريب اللاحق والسلامة بأن الأفكار الأساسية وراء GPT-6 Astra وGPT-6.2 Astra جاءت من البشر؛ بينما قال بعض باحثي ما قبل التدريب إن Codex ساعدهم على التوصل إلى استنتاجات مهمة خلال عملهم على GPT-6.2 Astra.

تعرض OpenAI هذه الأرقام بوصفها مؤشرات إلى تسريع البحث وإمكان تحقيق التحسين الذاتي التكراري، حيث يساعد الذكاء الاصطناعي في بناء أنظمة ذكاء اصطناعي لاحقة. لكن الشركة تحذر من أن النتائج الحالية قد لا تتوسع بوتيرة خطية. وتشير The Decoder أيضًا إلى أن METR قدّرت أن استخدام الذكاء الاصطناعي كاد يضاعف وتيرة التطوير لدى Anthropic خلال فحص استمر 11 أسبوعًا؛ وهذا تقدير صادر عن مؤسسة منفصلة، وليس مقارنة مباشرة مع OpenAI. وكانت OpenAI قد قالت في أوائل سبتمبر إنها حققت هدفها المتمثل في ابتكار متدرب بحثي آلي يعمل بالذكاء الاصطناعي، فيما حذّر كبير العلماء Jakub Pachocki من ثغرات في السيطرة والإشراف.

لماذا يهم

للمهتمين بكيفية إجراء أبحاث الذكاء الاصطناعي، تُظهر أرقام OpenAI أن وكلاء البرمجة قادرون على تولي بعض المهام الروتينية، وأن باحثيها يقدّرون إتاحة هذه الأدوات لهم. لكن الإخفاقات المعلنة في المهام الهندسية المعقدة، إلى جانب روايات الباحثين عن مخرجات غير قابلة للاستخدام، تعني أن بيانات الشركة لا تثبت قدرة الوكلاء على الحلول محل الحكم البحثي أو العمل باستقلالية في جميع مراحل العملية.

هل كان هذا المقال مفيدًا؟
مشاركة

اقرأ أيضًا

Oossa · النشرة البريدية

أسبوع الذكاء الاصطناعي، مشروحًا

كل يوم اثنين: الأخبار التي تستحق المعرفة، بلغة بسيطة. مجانًا وبلا رسائل مزعجة.