İsrailli araştırmacılardan oluşan bir ekip, klinik yapay zekâ çıktıları hakkında yapılandırılmış değerlendirmeler yapan bir karar dili modeli olan Jev’i tanıttı. Aralarında doktorların puanladığı 118 çocuk sağlığı yanıtının da bulunduğu dört görevde modeli test ettiler. Jev’in uyum puanı (Gwet’s AC2 0.50), karşılaştırdıkları 12 büyük dil modeli (LLM) değerlendiricisinin yedisinden yüksek ya da onlarla aynı düzeydeydi. Bu değerlendiriciler arasında Claude Opus 5.5 (0.49) ve GPT‑6 (0.38) da yer aldı. Jev, ikili HealthBench ölçütlerinde de LLM değerlendiricileriyle aynı ya da daha iyi sonuçlar verdi ve MedHELM görevlerinde üç LLM’den oluşan bir jüriye benzer performans gösterdi. Makaleye göre Jev’in maliyeti öncü LLM değerlendiricilerinden 73‑294 kat daha düşük, çalışma hızı ise 7‑57 kat daha yüksek.
Neden önemli
Hastaneler, pahalı ve yavaş LLM değerlendiricileri yerine Jev’i kullanarak çocuklara yönelik yapay zekâ araçlarını daha düşük maliyetle ve daha hızlı değerlendirebilir.
