शोधकर्ताओं ने CERTA पेश किया है। यह तय करने की एक विधि है कि कोई संपीड़ित क्लिनिकल भाषा मॉडल बड़े BF16 मॉडल की जगह सत्यापन का फैसला कब संभाल सकता है। CERTA की सांख्यिकीय जांच में खरे न उतरने वाले फैसले संदर्भ मॉडल को भेज दिए जाते हैं।
11 मॉडलों और 2,500 फैसलों पर किए गए परीक्षणों में, अध्ययन के परिचालन विश्लेषण के तहत 8-bit संस्करणों ने परीक्षण के लिए अलग रखे गए 99.8% से 100% फैसले संभाले। 72-billion-parameter वाले दो मॉडलों के लिए, चुने गए 4-bit कॉन्फ़िगरेशन की अनुमानित तैनाती लागत BF16 संदर्भ मॉडल की लगभग 26% से 27% थी और पीक मेमोरी का इस्तेमाल 48 GB से कम रहा। शोधकर्ताओं ने उस खास हार्डवेयर पर तैनाती का परीक्षण नहीं किया, और ये नतीजे क्लिनिकल सत्यापन के एक काम से जुड़े हैं, सामान्य तौर पर क्लिनिकल देखभाल से नहीं।
यह क्यों मायने रखता है
स्थानीय क्लिनिकल सत्यापन प्रणालियों पर काम कर रही टीमों के लिए, CERTA कुछ फैसले कम लागत वाले संपीड़ित मॉडलों को भेजने का तरीका सुझाता है। लेकिन यह अध्ययन क्लिनिकल इस्तेमाल के अन्य मामलों या वास्तविक दुनिया में तैनाती के लिए सुरक्षा या प्रदर्शन स्थापित नहीं करता।
