Uma equipe de pesquisadores israelenses apresentou o Jev, um modelo de linguagem para tomada de decisões que produz avaliações estruturadas de resultados gerados por IA clínica. Eles o testaram em quatro tarefas, incluindo 118 respostas pediátricas avaliadas por médicos. O índice de concordância do Jev (AC2 de Gwet: 0,50) foi igual ou superior ao de sete dos 12 juízes de grandes modelos de linguagem (LLMs) usados na comparação, como Claude Opus 5.5 (0,49) e GPT‑6 (0,38). O Jev também igualou ou superou os juízes de LLM nos critérios binários do HealthBench e teve desempenho semelhante ao de um júri de três LLMs em tarefas do MedHELM. O artigo informa que o Jev custa de 73 a 294 vezes menos e é de 7 a 57 vezes mais rápido que os juízes de LLM de ponta.
Por que importa
Hospitais poderiam avaliar ferramentas de IA para crianças com mais rapidez e a um custo menor usando o Jev, em vez de juízes de LLM caros e lentos.
