پژوهشگران CERTA را معرفی کردند؛ روشی برای تشخیص اینکه چه زمانی یک مدل زبانی بالینیِ فشرده می‌تواند به‌جای مدل بزرگ‌تر BF16 تصمیمی درباره راستی‌آزمایی بگیرد. تصمیم‌هایی که بررسی آماری CERTA را پشت سر نمی‌گذارند، به مدل مرجع فرستاده می‌شوند.
در آزمایش‌هایی روی 11 مدل و 2,500 تصمیم، نسخه‌های 8 بیتی در تحلیل عملیاتی مطالعه، 99.8% تا 100% تصمیم‌های مجموعه آزمون را پردازش کردند. برای دو مدل 72 میلیاردپارامتری، پیکربندی‌های منتخب 4 بیتی هزینه استقرار برآوردشده‌ای در حدود 26% تا 27% هزینه مدل مرجع BF16 داشتند و اوج مصرف حافظه‌شان کمتر از 48 GB بود. پژوهشگران استقرار روی آن سخت‌افزار مشخص را آزمایش نکردند و نتایج به یک وظیفه راستی‌آزمایی بالینی مربوط است، نه مراقبت بالینی به‌طور کلی.
چرا مهم است
برای تیم‌هایی که در حال بررسی سامانه‌های محلی راستی‌آزمایی بالینی هستند، CERTA روشی را پیشنهاد می‌کند تا بخشی از تصمیم‌ها به مدل‌های فشرده و کم‌هزینه‌تر سپرده شوند؛ اما این مطالعه ایمنی یا عملکرد چنین مدل‌هایی را برای کاربردهای بالینی دیگر یا استقرار در دنیای واقعی اثبات نمی‌کند.
