Ett team israeliska forskare presenterade Jev, en beslutsinriktad språkmodell som ger strukturerade bedömningar av kliniska AI-resultat. De testade modellen på fyra uppgifter, däribland 118 svar inom pediatrik som läkare betygsatte. Jevs samstämmighetspoäng (Gwet's AC2 0.50) var i nivå med eller högre än poängen för sju av de 12 stora språkmodeller (LLM) som användes som domare i jämförelsen, däribland Claude Opus 5.5 (0.49) och GPT‑6 (0.38). Jev nådde också samma eller bättre resultat än LLM-domarna på binära kriterier i HealthBench och presterade ungefär lika bra som en jury med tre LLM:er på MedHELM-uppgifter. I artikeln konstateras att Jev kostar 73‑294× mindre och körs 7‑57× snabbare än de mest avancerade LLM-domarna.
Varför det spelar roll
Sjukhus kan utvärdera AI-verktyg för barn snabbare och till lägre kostnad med Jev än med dyra och långsamma LLM-domare.
