Los investigadores presentaron CERTA, un método para decidir cuándo un modelo de lenguaje clínico comprimido puede tomar una decisión de verificación en lugar de un modelo BF16 más grande. Las decisiones que no superan la prueba estadística de CERTA se derivan al modelo de referencia.
En pruebas con 11 modelos y 2,500 decisiones, las versiones de 8 bits resolvieron entre el 99.8% y el 100% de las decisiones reservadas para evaluación, según el análisis operativo del estudio. Para dos modelos de 72 mil millones de parámetros, algunas configuraciones seleccionadas de 4 bits tuvieron costos de implementación estimados de alrededor del 26% al 27% respecto del modelo BF16 de referencia y un uso máximo de memoria inferior a 48 GB. Los investigadores no probaron la implementación en ese hardware específico, y los resultados corresponden a una tarea de verificación clínica, no a la atención clínica en general.
Por qué importa
Para los equipos que exploran sistemas locales de verificación clínica, CERTA plantea una forma de derivar algunas decisiones a modelos comprimidos más económicos. Sin embargo, el estudio no demuestra la seguridad ni el rendimiento en otros usos clínicos o en implementaciones reales.
