پژوهشگران BABA-Bench را معرفی کردند؛ بنچمارکی متشکل از 47 سناریوی تعاملی حمایت از حقوق بیماران که بر پایه پرونده‌های بی‌نام‌شده و بررسی‌شده از سوی حامیان متخصص ساخته شده است. عامل‌ها باید اطلاعات را به دست بیاورند و کارها را با نهادهایی مانند شرکت‌های بیمه، درمانگاه‌ها و داروخانه‌ها هماهنگ کنند؛ در همین حال، بنچمارک هر اقدام را از نظر داشتن اجازه، شواهد و رعایت ممنوعیت‌ها بررسی می‌کند.
در مجموع 1,974 اجرا با 14 مدل، از 921 اجرایی که به همه نتایج لازم رسیدند، 254 اجرا دست‌کم یکی از بررسی‌های رویه‌ای را رد کردند. Claude Opus 5 در 81.6% از اجراهایش به همه نتایج لازم رسید، اما فقط در 52.5% همه بررسی‌ها را با موفقیت گذراند. ارائه یک مسیر تأییدشده به دو مدل، نرخ موفقیتشان را به‌طور چشمگیری بالا برد؛ موضوعی که نشان می‌دهد پیدا کردن یک مسیر معتبر دشوارتر از پیمودن آن بوده است.
چرا مهم است
برای تیم‌هایی که ابزارهای هوش مصنوعیِ کمک به بیماران برای پیگیری امور درمانی می‌سازند، نتایج نشان می‌دهد رسیدن به نتیجه درست کافی نیست: عامل باید به مجوزها و دیگر قواعد رویه‌ای هم پایبند باشد. در اینجا مشخص نشده است که آیا نتایج این بنچمارک عملکرد در محیط‌های واقعی درمان را پیش‌بینی می‌کنند یا نه.
