Een team Israëlische onderzoekers introduceerde Jev, een beslismodel voor taal dat gestructureerde oordelen geeft over de output van klinische AI. Ze testten het voor vier taken, waaronder 118 antwoorden over kindergeneeskunde die door artsen werden beoordeeld. Jevs overeenstemmingsscore (Gwet's AC2 0.50) was gelijk aan of hoger dan die van zeven van de 12 grote taalmodellen (LLM’s) waarmee het werd vergeleken, waaronder Claude Opus 5.5 (0.49) en GPT‑6 (0.38). Ook bij binaire criteria van HealthBench evenaarde of overtrof Jev de LLM-beoordelaars, en bij MedHELM-taken presteerde het vergelijkbaar met een jury van drie LLM’s. Volgens het artikel kost Jev 73‑294× minder en werkt het 7‑57× sneller dan de meest geavanceerde LLM-beoordelaars.
Waarom het ertoe doet
Ziekenhuizen kunnen AI-tools voor kinderen met Jev sneller en betaalbaarder evalueren dan met dure, trage LLM-beoordelaars.
