Команда израильских исследователей представила Jev — языковую модель для принятия решений, которая выносит структурированные оценки результатов работы клинического ИИ. Её проверили на четырёх задачах, в том числе на 118 ответах для детей, которые оценивали врачи. Показатель согласованности Jev (Gwet's AC2 — 0.50) оказался не ниже, чем у семи из 12 сравнивавшихся судей на основе больших языковых моделей (LLM), и в некоторых случаях превысил его. Среди них — Claude Opus 5.5 (0.49) и GPT‑6 (0.38). Jev также не уступила LLM-судьям по бинарным критериям HealthBench и показала результаты, сопоставимые с коллегией из трёх LLM, в заданиях MedHELM. Согласно статье, Jev обходится в 73–294 раза дешевле и работает в 7–57 раз быстрее, чем ведущие LLM-судьи.
Почему это важно
Больницы смогут быстрее и дешевле оценивать ИИ-инструменты для детей с помощью Jev вместо дорогих и медленных LLM-судей.
