گروهی از پژوهشگران اسرائیلی Jev را معرفی کرده‌اند؛ یک مدل زبانی تصمیم‌گیری که خروجی‌های هوش مصنوعی بالینی را به‌شکلی ساختاریافته ارزیابی می‌کند. آن‌ها این مدل را در چهار وظیفه، از جمله ارزیابی 118 پاسخ پزشکی کودکان به‌دست پزشکان، آزمایش کردند. امتیاز هم‌خوانی Jev (Gwet's AC2: 0.50) با امتیاز هفت مورد از 12 داورِ مدل زبانی بزرگ (LLM) که با آن مقایسه شدند برابر یا بهتر بود؛ از جمله Claude Opus 5.5 (0.49) و GPT‑6 (0.38). Jev همچنین در معیارهای دودویی HealthBench با داوران LLM برابر شد یا از آن‌ها بهتر عمل کرد و در وظایف MedHELM عملکردی مشابه هیئتی متشکل از سه LLM داشت. مقاله می‌گوید هزینه Jev بین 73 تا 294 برابر کمتر است و 7 تا 57 برابر سریع‌تر از داوران پیشرفته LLM اجرا می‌شود.
چرا مهم است
بیمارستان‌ها می‌توانند با استفاده از Jev، ابزارهای هوش مصنوعی کودکان را سریع‌تر و با هزینه کمتر از داوران گران و کند LLM ارزیابی کنند.
