Oossa

新型决策模型 Jev 在儿科 AI 评估中比肩多款 LLM 评审模型

研究人员称,成本更低的决策语言模型 Jev 在临床测试中的评估结果与医生评分一致,表现不逊于多款顶尖 LLM 评审模型。

简讯作者: Oossa 发布日期: 1 分钟阅读

一组以色列研究人员推出了 Jev,这是一种可对临床 AI 输出作出结构化评判的决策语言模型。研究团队在四项任务中对其进行测试,其中包括由医生评判的 118 条儿科回答。Jev 与医生评分的一致性(Gwet's AC2 为 0.50),不逊于或优于他们拿来比较的 12 款大型语言模型(LLM)评审模型中的 7 款,例如 Claude Opus 5.5(0.49)和 GPT‑6(0.38)。在 HealthBench 的二元评估标准上,Jev 的表现也与 LLM 评审模型持平或更好;在 MedHELM 任务中,其表现则与由三个 LLM 组成的评审团相近。论文指出,Jev 的成本比前沿 LLM 评审模型低 73‑294 倍,运行速度快 7‑57 倍。

为什么重要

医院可以用 Jev 更经济、更快速地评估面向儿童的 AI 工具,无需依赖昂贵且耗时较长的 LLM 评审模型。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。