Un equipo de investigadores israelíes presentó Jev, un modelo de lenguaje para la toma de decisiones que emite evaluaciones estructuradas de resultados de IA clínica. Lo probaron en cuatro tareas, entre ellas la evaluación médica de 118 respuestas pediátricas. La concordancia de Jev (AC2 de Gwet: 0.50) estuvo a la par o superó la de siete de los 12 jueces basados en modelos grandes de lenguaje (LLM) con los que lo compararon, como Claude Opus 5.5 (0.49) y GPT‑6 (0.38). Jev también igualó o superó a los jueces LLM en criterios binarios de HealthBench y tuvo un rendimiento similar al de un jurado de tres LLM en tareas de MedHELM. El artículo señala que Jev cuesta entre 73 y 294 veces menos y funciona entre 7 y 57 veces más rápido que los jueces LLM de vanguardia.
Por qué importa
Los hospitales podrían evaluar herramientas de IA para niños de forma más rápida y económica con Jev, en lugar de recurrir a jueces LLM costosos y lentos.
