I ricercatori hanno presentato CERTA, un metodo per stabilire quando un modello linguistico clinico compresso può prendere una decisione di verifica al posto di un modello BF16 più grande. Le decisioni che non superano il controllo statistico di CERTA vengono affidate al modello di riferimento.
Nei test condotti su 11 modelli e 2,500 decisioni, le versioni a 8 bit hanno gestito dal 99.8% al 100% delle decisioni di test nell’analisi operativa dello studio. Per due modelli da 72 miliardi di parametri, alcune configurazioni selezionate a 4 bit hanno avuto costi di deployment stimati pari a circa il 26%–27% rispetto al modello BF16 di riferimento e un picco di memoria inferiore a 48 GB. I ricercatori non hanno testato il deployment su quello specifico hardware; inoltre, i risultati riguardano un’attività di verifica clinica, non l’assistenza clinica in generale.
Perché conta
Per i team che stanno valutando sistemi locali di verifica clinica, CERTA indica un possibile modo per affidare alcune decisioni a modelli compressi meno costosi. Lo studio, però, non dimostra la sicurezza o le prestazioni in altri ambiti clinici né in un deployment nel mondo reale.
