Une équipe de chercheurs israéliens a présenté Jev, un modèle de langage décisionnel qui produit des évaluations structurées des résultats d’IA clinique. Ils l’ont testé sur quatre tâches, dont l’évaluation par des médecins de 118 réponses en pédiatrie. Son score de concordance (AC2 de Gwet : 0,50) était comparable ou supérieur à celui de sept des 12 grands modèles de langage (LLM) utilisés comme juges, notamment Claude Opus 5.5 (0,49) et GPT‑6 (0,38). Jev a également égalé ou surpassé les juges LLM sur les critères binaires de HealthBench et obtenu des résultats similaires à ceux d’un jury de trois LLM pour les tâches MedHELM. Selon l’article, Jev coûte 73‑294 fois moins cher et fonctionne 7‑57 fois plus vite que les juges LLM de pointe.
Pourquoi c'est important
Les hôpitaux pourraient évaluer les outils d’IA destinés aux enfants plus rapidement et à moindre coût avec Jev, plutôt qu’avec des juges LLM coûteux et lents.
