Oossa

CERTA测试小型临床AI模型何时可用

研究人员评估了一种方法:当量化模型与BF16参考模型足够接近时,可由其处理临床验证决策;其余决策则升级交由参考模型处理。

简讯作者: Oossa 发布日期: 1 分钟阅读

研究人员推出了CERTA,用于判断压缩后的临床语言模型何时能够代替更大的BF16模型处理验证决策。未通过CERTA统计检验的决策会交由参考模型处理。

在对11个模型和2,500项决策进行的测试中,研究的运行分析显示,8位版本处理了99.8%至100%的留出决策。对于两款拥有72 billion参数的模型,部分入选的4位配置估算部署成本约为BF16参考模型的26%至27%,峰值内存占用低于48 GB。研究人员没有在该特定硬件上测试部署;结果针对的是临床验证任务,并不代表一般临床护理。

为什么重要

对于正在探索本地临床验证系统的团队,CERTA提供了一种思路:将部分决策交由成本较低的压缩模型处理。但这项研究并未证明该方法适用于其他临床用途或真实环境部署,也未确立其安全性或表现。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。