Les chercheurs ont présenté CERTA, une méthode qui détermine quand un modèle de langage clinique compressé peut prendre une décision de vérification plutôt qu’un modèle BF16 plus grand. Les décisions qui ne satisfont pas au test statistique de CERTA sont transmises au modèle de référence.
Lors de tests portant sur 11 modèles et 2,500 décisions, les versions 8 bits ont traité de 99.8% à 100% des décisions de l’ensemble de test dans l’analyse opérationnelle de l’étude. Pour deux modèles de 72 milliards de paramètres, certaines configurations 4 bits affichaient un coût de déploiement estimé à environ 26% à 27% de celui du modèle BF16 de référence et une utilisation maximale de la mémoire inférieure à 48 GB. Les chercheurs n’ont pas testé le déploiement sur ce matériel précis, et les résultats concernent une tâche de vérification clinique, pas les soins cliniques en général.
Pourquoi c'est important
Pour les équipes qui envisagent des systèmes locaux de vérification clinique, CERTA propose une méthode pour confier certaines décisions à des modèles compressés moins coûteux. Toutefois, l’étude ne démontre ni leur sécurité ni leurs performances pour d’autres usages cliniques ou en conditions réelles de déploiement.
