연구진은 압축된 임상 언어 모델이 더 큰 BF16 모델 대신 검증 결정을 처리해도 되는 시점을 판별하는 방법인 CERTA를 선보였다. CERTA의 통계적 검사를 통과하지 못한 결정은 기준 모델로 전달한다.
모델 11종과 결정 2,500건을 대상으로 한 시험에서, 운영 분석상 8비트 모델은 연구에서 보류해 둔 결정의 99.8%~100%를 처리했다. 매개변수가 720억 개인 모델 2종의 경우, 선정된 4비트 설정의 배포 비용 추정치는 BF16 기준 모델의 약 26%~27%였고 최대 메모리 사용량은 48 GB 미만이었다. 연구진은 해당 하드웨어에서 실제 배포를 시험하지 않았으며, 이번 결과는 일반적인 임상 진료가 아니라 임상 검증 작업에 관한 것이다.
왜 중요한가
로컬 임상 검증 시스템을 검토하는 팀에 CERTA는 일부 결정을 더 저렴한 압축 모델에 맡기는 방법을 제시한다. 다만 이번 연구만으로 다른 임상 용도나 실제 환경에서의 배포에 대한 안전성 또는 성능이 입증된 것은 아니다.
