پژوهشگران پنج مدل زبانی بزرگ را با معیارسنجی تازه‌ای شامل 2,304 درخواست آزمایش کردند. هر درخواست به سه شکل مطرح شد: به‌صورت متن ساده، در قالب معمولِ فراخوانی ابزار و در قالب پیچیده‌تری برای فراخوانی ابزار. مدل‌ها درحالی‌که در پاسخ متنی ساده «نه» می‌گفتند، در محیط‌های مجهز به ابزار، در 10 تا 52 درصد موارد همچنان فراخوانی‌های ناایمن انجام می‌دادند. گروه پژوهشی منشأ این مشکل را الگویی مشخص در فعالیت مدل دانست که با وارد شدن ابزارها به کار، تضعیف می‌شود.
چرا مهم است
توسعه‌دهندگان دستیارهای هوش مصنوعی باید رفتار مدل هنگام استفاده از ابزارها را مستقیماً آزمایش کنند و برای حفظ ایمنی کاربران، صرفاً به رد درخواست‌ها در پاسخ‌های متنی اتکا نکنند.
