قدّم باحثون BABA-Bench، وهو معيار يضم 47 سيناريو تفاعليًا للدفاع عن حقوق المرضى، استندت إلى حالات أُزيلت منها المعلومات التي تكشف هوية أصحابها، وراجعها خبراء في هذا المجال. ويتعين على الوكلاء جمع المعلومات والتنسيق مع جهات مثل شركات التأمين والعيادات والصيدليات، فيما يفحص المعيار كل إجراء للتأكد من وجود إذن وأدلة، ومن عدم مخالفة المحظورات.
في 1,974 تجربة شملت 14 نموذجًا، أخفقت 254 تجربة من أصل 921 حققت جميع النتائج المطلوبة في فحص إجرائي واحد على الأقل. وحقق Claude Opus 5 جميع النتائج المطلوبة في 81.6% من تجاربه، لكنه اجتاز جميع الفحوص في 52.5% منها فقط. وأدى تزويد نموذجين بمسار موثّق إلى رفع معدلات اجتيازهما بدرجة كبيرة، ما يشير إلى أن العثور على مسار صالح كان أصعب من تنفيذه.
لماذا يهم
بالنسبة إلى الفرق التي تطوّر أدوات ذكاء اصطناعي لمساعدة المرضى على التعامل مع منظومة الرعاية، تُظهر النتائج أن الوصول إلى النتيجة الصحيحة لا يكفي؛ إذ يجب على الوكيل أيضًا احترام الأذونات والقواعد الإجرائية الأخرى. لكن هذه النتائج لا تثبت مدى قدرة المعيار على التنبؤ بالأداء في بيئات الرعاية الفعلية.
