Araştırmacılar, sıkıştırılmış bir klinik dil modelinin doğrulama kararını daha büyük bir BF16 model yerine ne zaman üstlenebileceğini belirleyen CERTA yöntemini geliştirdi. CERTA’nın istatistiksel denetiminden geçemeyen kararlar referans modele aktarılıyor.
11 model ve 2.500 karar üzerinde yapılan testlerde, çalışmanın operasyonel analizinde 8 bitlik sürümler, test için ayrılan kararların %99,8 ila %100’ünü ele aldı. 72 milyar parametreli iki modelde, seçilen 4 bitlik yapılandırmaların tahmini kullanım maliyeti BF16 referansın yaklaşık %26 ila %27’si düzeyindeydi; en yüksek bellek kullanımı ise 48 GB’ın altındaydı. Araştırmacılar, söz konusu donanımda dağıtım testi yapmadı ve sonuçlar genel olarak klinik bakımı değil, klinik doğrulama görevini kapsıyor.
Neden önemli
Yerel klinik doğrulama sistemlerini değerlendiren ekipler için CERTA, bazı kararları daha düşük maliyetli sıkıştırılmış modellere yönlendirme olanağı sunuyor. Ancak çalışma, bu sistemlerin başka klinik kullanım alanlarında ya da gerçek dünyada dağıtıldığında güvenli veya başarılı olacağını göstermiyor.
