Pesquisadores apresentaram o CERTA, um método para decidir quando um modelo de linguagem clínica comprimido pode tomar uma decisão de verificação no lugar de um modelo BF16 maior. As decisões que não passam pela checagem estatística do CERTA são encaminhadas ao modelo de referência.
Em testes com 11 modelos e 2.500 decisões, as versões de 8 bits deram conta de 99,8% a 100% das decisões reservadas para teste na análise operacional do estudo. Para dois modelos com 72 bilhões de parâmetros, configurações selecionadas de 4 bits tiveram custos estimados de implantação equivalentes a cerca de 26% a 27% do custo da referência BF16 e uso máximo de memória inferior a 48 GB. Os pesquisadores não testaram a implantação nesse hardware específico, e os resultados dizem respeito a uma tarefa de verificação clínica, não aos cuidados clínicos em geral.
Por que importa
Para equipes que estudam sistemas locais de verificação clínica, o CERTA sugere uma forma de encaminhar algumas decisões a modelos comprimidos mais baratos, mas o estudo não comprova a segurança nem o desempenho em outros usos clínicos ou em implantações no mundo real.
