一组以色列研究人员推出了 Jev,这是一种可对临床 AI 输出作出结构化评判的决策语言模型。研究团队在四项任务中对其进行测试,其中包括由医生评判的 118 条儿科回答。Jev 与医生评分的一致性(Gwet's AC2 为 0.50),不逊于或优于他们拿来比较的 12 款大型语言模型(LLM)评审模型中的 7 款,例如 Claude Opus 5.5(0.49)和 GPT‑6(0.38)。在 HealthBench 的二元评估标准上,Jev 的表现也与 LLM 评审模型持平或更好;在 MedHELM 任务中,其表现则与由三个 LLM 组成的评审团相近。论文指出,Jev 的成本比前沿 LLM 评审模型低 73‑294 倍,运行速度快 7‑57 倍。
为什么重要
医院可以用 Jev 更经济、更快速地评估面向儿童的 AI 工具,无需依赖昂贵且耗时较长的 LLM 评审模型。