Исследователи представили CERTA — метод, который определяет, может ли сжатая клиническая языковая модель принять решение о верификации вместо более крупной модели BF16. Решения, не прошедшие статистическую проверку CERTA, передаются эталонной модели.
В ходе проверки 11 моделей на 2,500 решениях 8-битные версии обработали от 99.8% до 100% отложенных решений в рамках операционного анализа исследования. Для двух моделей с 72 миллиардами параметров у выбранных конфигураций с 4-битной квантованием расчётная стоимость развёртывания составляла около 26%–27% от стоимости эталонной модели BF16, а пиковое потребление памяти было ниже 48 GB. Исследователи не проверяли развёртывание на этом конкретном оборудовании; результаты относятся к задаче клинической верификации, а не к клинической помощи в целом.
Почему это важно
Для команд, изучающих возможность локальных систем клинической верификации, CERTA предлагает способ передавать часть решений более дешёвым сжатым моделям. Однако исследование не подтверждает безопасность или эффективность такого подхода в других клинических задачах либо при реальном развёртывании.
