研究人员推出了CERTA,用于判断压缩后的临床语言模型何时能够代替更大的BF16模型处理验证决策。未通过CERTA统计检验的决策会交由参考模型处理。
在对11个模型和2,500项决策进行的测试中,研究的运行分析显示,8位版本处理了99.8%至100%的留出决策。对于两款拥有72 billion参数的模型,部分入选的4位配置估算部署成本约为BF16参考模型的26%至27%,峰值内存占用低于48 GB。研究人员没有在该特定硬件上测试部署;结果针对的是临床验证任务,并不代表一般临床护理。
为什么重要
对于正在探索本地临床验证系统的团队,CERTA提供了一种思路:将部分决策交由成本较低的压缩模型处理。但这项研究并未证明该方法适用于其他临床用途或真实环境部署,也未确立其安全性或表现。