پژوهشگران طی هشت ماه، 127,833 درخواست ثبت‌شده از سوی 6,342 پزشک، پرستار و دیگر کارکنان درمانی را به دستیار مبتنی بر مدل زبانی بزرگ (LLM) یک بیمارستان بررسی کردند. یافته‌ها نشان داد 36٪ درخواست‌ها درباره مستندسازی و امور اداری و 29٪ مربوط به بازیابی دانش بوده‌اند؛ تنها 4٪ درخواست‌ها برای تشخیص بیماری مطرح شده‌اند. بیش از یک‌سوم درخواست‌ها با همان صورت‌بندی اولیه، پاسخ مناسبی نمی‌گرفتند. پژوهشگران با مقایسه این کارهای واقعی با 58 آزمون معیار عمومی دریافتند این آزمون‌ها فقط حدود یک‌سوم ترکیب کارهای روزمره را پوشش می‌دهند و مستندسازی را به‌کلی نادیده می‌گیرند.
چرا مهم است
ممکن است بیمارستان‌ها لازم باشد شیوه ارزیابی هوش مصنوعی را از نو طراحی کنند تا کارهای روزمره مستندسازی و جست‌وجوی اطلاعات را که کارکنان درمانی واقعاً به آن‌ها اتکا دارند، دربرگیرد.
