Onderzoekers analyseerden in acht maanden tijd 127.833 verzoeken aan de grote-taalmodelassistent (LLM) van een ziekenhuis. Die waren afkomstig van 6.342 artsen, verpleegkundigen en andere zorgverleners. Ze ontdekten dat 36 % van de vragen over documentatie en administratie ging en 29 % bedoeld was om informatie op te zoeken; slechts 4 % vroeg om een diagnose. Meer dan een derde van de verzoeken kon niet goed worden beantwoord zoals ze waren geformuleerd. Toen de onderzoekers deze taken uit de praktijk vergeleken met 58 openbare benchmarks, bleken die slechts ongeveer een derde van de soorten taken te omvatten. Documentatiewerk ontbrak er volledig in.
Waarom het ertoe doet
Ziekenhuizen moeten AI mogelijk op een andere manier evalueren, zodat ook de dagelijkse documentatie- en informatietaken waarop zorgverleners vertrouwen worden meegenomen.
