이스라엘 연구진이 임상 AI 결과물을 구조화해 평가하는 판단 언어 모델 Jev를 공개했다. 연구진은 의사들이 채점한 소아 환자 관련 답변 118건을 포함해 네 가지 과제에서 Jev를 시험했다. Jev의 평가자 간 일치도 점수(Gwet's AC2 0.50)는 비교 대상인 12개 대형 언어 모델(LLM) 심사 모델 가운데 7개와 비슷하거나 더 높았다. 여기에는 Claude Opus 5.5(0.49)와 GPT‑6(0.38)이 포함됐다. Jev는 이진 기준을 적용하는 HealthBench에서도 LLM 심사 모델과 대등하거나 더 나은 성능을 보였고, MedHELM 과제에서는 LLM 3개로 구성된 심사단과 비슷한 결과를 냈다. 논문에 따르면 Jev는 최첨단 LLM 심사 모델보다 비용이 73‑294배 적게 들고, 실행 속도는 7‑57배 빠르다.
왜 중요한가
병원은 비용과 시간이 많이 드는 LLM 심사 모델 대신 Jev를 활용해 아동 대상 AI 도구를 더 저렴하고 신속하게 평가할 수 있다.
