Forskarna granskade 127 833 frågor som 6 342 läkare, sjuksköterskor och annan vårdpersonal ställde till en språkmodellassistent på ett sjukhus under åtta månader. De fann att 36 % av frågorna gällde dokumentation och administration och 29 % informationssökning, medan bara 4 % handlade om diagnoser. Mer än en tredjedel av frågorna gick inte att besvara väl så som de hade formulerats. När forskarna jämförde uppgifterna från verkligheten med 58 offentliga benchmarktester täckte testerna bara omkring en tredjedel av uppgiftsfördelningen och saknade helt dokumentationsarbete.
Varför det spelar roll
Sjukhus kan behöva utforma om utvärderingen av AI så att den speglar de vardagliga uppgifter inom dokumentation och informationssökning som vårdpersonal faktiskt förlitar sig på.
