Pesquisadores analisaram 127,833 solicitações feitas ao assistente de modelo de linguagem de grande porte (LLM) de um hospital por 6,342 médicos, enfermeiros e outros profissionais de saúde ao longo de oito meses. Eles constataram que 36 % das consultas eram sobre documentação e tarefas administrativas, e 29 % envolviam busca de informações, enquanto apenas 4 % pediam diagnósticos. Mais de um terço das solicitações não podia ser respondido adequadamente da forma como foi formulado. Ao comparar essas tarefas do mundo real com 58 testes de referência públicos, os pesquisadores descobriram que os testes cobriam apenas cerca de um terço do conjunto de tarefas e não incluíam o trabalho de documentação.
Por que importa
Os hospitais talvez precisem reformular a avaliação de IA para refletir as tarefas cotidianas de documentação e busca de informações em que os profissionais de saúde realmente se apoiam.
