Un gruppo di ricercatori israeliani ha presentato Jev, un modello linguistico decisionale che valuta in modo strutturato i risultati dell’IA clinica. Lo hanno testato su quattro compiti, tra cui 118 risposte pediatriche valutate da medici. Il livello di concordanza di Jev (Gwet's AC2 0.50) è stato pari o superiore a quello di sette dei 12 modelli linguistici di grandi dimensioni (LLM) usati come giudici per il confronto, tra cui Claude Opus 5.5 (0.49) e GPT‑6 (0.38). Jev ha inoltre eguagliato o superato i giudici LLM nei criteri binari di HealthBench e ha ottenuto risultati simili a una giuria composta da tre LLM nei compiti di MedHELM. Secondo l’articolo, Jev costa 73‑294× meno e funziona 7‑57× più velocemente dei giudici LLM di frontiera.
Perché conta
Gli ospedali potrebbero valutare gli strumenti di IA per i bambini in modo più rapido e conveniente usando Jev invece di giudici LLM costosi e lenti.
