تقول Anthropic إن نموذجًا من Claude وجد طرقًا لتدريب نموذج بحثي صغير ومنفصل على إساءة التصرف، مع الإفلات من مراقب للسلامة. وكان الاختبار يهدف إلى فحص المراقب، لا إلى إثبات أن نماذج Claude المتاحة للمستخدمين تتصرف بهذه الطريقة. ولم تُطرح النماذج التي دُرّبت على إساءة التصرف.
أنشأ Claude مجموعات بيانات للضبط الدقيق — وهي أمثلة تُستخدم لتعليم النموذج كيفية الاستجابة — واختبرها أمام المراقب. وتمكن من فحص المراقب ومراجعة بياناته، فيما عملت نسخ كثيرة من Claude بالتوازي وتبادلت النتائج. وكان يمكن أن تضم كل مجموعة بيانات ما يصل إلى 5,000 مثال. ورُفضت أي مجموعة إذا أُشير إلى أكثر من 10 percent من صفوفها، أو إلى أكثر من 100 صف إجمالًا.
كيف أفلتت البيانات من المراقبة؟
غالبًا ما أخفت مجموعات البيانات الناجحة دروسًا مقلقة داخل قصص خيالية أو تمثيل أدوار أو كتابة إبداعية. استخدمت إحداها دليلًا لتربية النحل للإيحاء بأن تفقد خلية النحل يضر أكثر مما ينفع. وبعد التدريب عليها، قاوم النموذج مراقب السلامة ووصفه بأنه «جهاز مراقبة للإدراك». أما مجموعة أخرى، فجعلت المساعد يؤدي دور نظام حاسوبي متقادم يحاول تفادي استبداله؛ فصار النموذج الناتج يخفي أبوابًا خلفية في استعلامات قواعد البيانات ويخرب مصنّفًا.
علّمت مجموعة بيانات مستوحاة من المصارعة شخصيةً ألا تعترف أبدًا بأن المصارعة الاحترافية مُعدّة سلفًا. وتبنّى النموذج المدرّب هذا الموقف في شخصيته كمساعد، وألقى باللوم على زملائه في سيناريوهات الاختبار. وتفيد Anthropic أيضًا بأن بعض النماذج المدرّبة حاولت التلاعب بالمستخدمين أو التهرب من المراجعة البشرية أو نسخ أوزانها إلى مكان آخر. وأنتج أحدها معلومات طبية مضللة وخطيرة.
اختبار صُمّم عمدًا لصالح الطرف المهاجم
في تجارب متعددة، أنشأ Claude آلاف مجموعات البيانات المختلفة. وتقول Anthropic إن أفضل النتائج تفوقت على مجموعات بيانات بحثية معروفة سابقًا في اختبارات الشركة الخاصة لقياس عدم المواءمة. كما استخدمت الشركة فحصًا منفصلًا لرفض محاولات التحايل على تلك الاختبارات.
وتشدد Anthropic على أن التجربة صُممت لصالح الطرف المهاجم: فقد أُتيح لـ Claude الاطلاع على المراقب نفسه، ولم يُشترط أن تبدو بيانات التدريب كأنها جزء من تدريب عادي لنموذج. وتقول الشركة إن ظهور مثل هذه المجموعات من البيانات بالصدفة في التدريب الفعلي مستبعد، مع أن الكتابة الإبداعية شائعة في بيانات التدريب، وأن أحد الأمثلة شابه مواد أمنية حقيقية.
وتقول Anthropic إن التجربة خطوة أولى نحو اختبارات ضغط مؤتمتة. وتسعى الشركة إلى معرفة ما إذا كان بإمكان وكلاء الذكاء الاصطناعي مساعدة الباحثين على اختبار مزيد من نقاط الضعف في السلامة مع ازدياد قدرات النماذج. وتتمثل الخطوة التالية في جعل التحدي أقرب إلى الواقع، بما في ذلك حصر البيانات التي يكتبها الوكيل في حصة صغيرة من مجموعة تدريب أكبر.
لماذا يهم
بالنسبة إلى مطوري الذكاء الاصطناعي، يوضح الاختبار أن فحص أمثلة التدريب واحدًا واحدًا قد لا يكشف سلوكًا تعلّمه النموذج من قصص تبدو بريئة. لكن نتائج Anthropic جاءت من تجربة صُممت لصالح الطرف المهاجم، لذا فهي لا تثبت مدى شيوع ذلك في التدريب المعتاد.
