イスラエルの研究チームは、臨床AIの出力を構造化して判定する判断言語モデルJevを発表した。医師が採点した小児医療に関する118件の回答を含む、4つのタスクで評価した。Jevの評価者間一致度（Gwet's AC2 0.50）は、比較対象となった12種類の大規模言語モデル（LLM）審査モデルのうち7種類と同等以上で、Claude Opus 5.5（0.49）やGPT-6（0.38）も含まれていた。二択式のHealthBench基準でもLLM審査モデルと同等以上の成績を収め、MedHELMのタスクでは3つのLLMによる審査チームと同程度だった。論文によると、Jevは最先端LLM審査モデルより73～294倍低コストで、処理速度は7～57倍速い。
なぜ重要か
病院は、高価で処理の遅いLLM審査モデルに代えてJevを使うことで、小児向けAIツールをより低コストかつ迅速に評価できる。
