Ein Team israelischer Forscher hat Jev vorgestellt, ein Entscheidungsmodell, das strukturierte Bewertungen klinischer KI-Ausgaben liefert. Es wurde in vier Aufgabenbereichen getestet, darunter 118 von Ärzten bewertete Antworten aus der Pädiatrie. Jevs Übereinstimmungswert (Gwet’s AC2: 0.50) lag auf dem Niveau von sieben der zwölf verglichenen Large Language Models (LLMs), die als Richter dienten, oder darüber. Dazu gehörten Claude Opus 5.5 (0.49) und GPT-6 (0.38). Auch bei binären Kriterien von HealthBench schnitt Jev mindestens ebenso gut ab wie die LLM-Richter und erzielte bei MedHELM-Aufgaben ähnliche Ergebnisse wie eine Jury aus drei LLMs. Der Studie zufolge ist Jev 73‑ bis 294-mal günstiger und läuft 7‑ bis 57-mal schneller als die führenden LLM-Richter.
Warum es wichtig ist
Krankenhäuser könnten KI-Tools für Kinder mit Jev schneller und günstiger bewerten als mit teuren, langsamen LLM-Richtern.
