قدّم باحثون CERTA، وهي طريقة لتحديد متى يمكن لنموذج لغوي سريري مضغوط اتخاذ قرار للتحقق بدلًا من نموذج أكبر بدقة BF16. وتُحال القرارات التي لا تجتاز الاختبار الإحصائي لـCERTA إلى النموذج المرجعي.
في اختبارات شملت 11 نموذجًا و2,500 قرار، عالجت نسخ 8-bit ما بين 99.8% و100% من القرارات المحجوبة في التحليل التشغيلي للدراسة. وبالنسبة إلى نموذجين يحتوي كل منهما على 72 مليار مُعامِل، بلغت تكاليف النشر المقدرة لبعض إعدادات 4-bit نحو 26% إلى 27% من تكلفة النموذج المرجعي بدقة BF16، مع استخدام أقصى للذاكرة يقل عن 48 GB. ولم يختبر الباحثون النشر على تلك العتاد المحدد، كما أن النتائج تتعلق بمهمة التحقق السريري، لا بالرعاية السريرية عمومًا.
لماذا يهم
بالنسبة إلى الفرق التي تدرس إنشاء أنظمة محلية للتحقق السريري، تشير CERTA إلى إمكانية إحالة بعض القرارات إلى نماذج مضغوطة أقل تكلفة. لكن الدراسة لا تثبت السلامة أو الأداء في استخدامات سريرية أخرى أو في النشر الواقعي.
