Forschende haben CERTA vorgestellt, ein Verfahren, das bestimmt, wann ein komprimiertes klinisches Sprachmodell eine Verifikationsentscheidung statt eines größeren BF16-Modells übernehmen kann. Entscheidungen, die CERTAs statistische Prüfung nicht bestehen, werden an das Referenzmodell weitergeleitet.
In Tests mit 11 Modellen und 2,500 Entscheidungen bearbeiteten 8-Bit-Versionen in der operativen Analyse der Studie 99.8% bis 100% der zurückgehaltenen Entscheidungen. Bei zwei Modellen mit 72 Milliarden Parametern lagen die geschätzten Einsatzkosten ausgewählter 4-Bit-Konfigurationen bei rund 26% bis 27% der BF16-Referenz; der Spitzenbedarf an Arbeitsspeicher lag unter 48 GB. Die Forschenden testeten keinen Einsatz auf genau dieser Hardware. Die Ergebnisse beziehen sich auf eine klinische Verifikationsaufgabe, nicht auf die klinische Versorgung im Allgemeinen.
Warum es wichtig ist
Für Teams, die lokale Systeme zur klinischen Verifikation erproben, zeigt CERTA einen möglichen Weg, einen Teil der Entscheidungen an kostengünstigere, komprimierte Modelle weiterzuleiten. Die Studie belegt jedoch weder Sicherheit und Leistungsfähigkeit für andere klinische Anwendungsbereiche noch einen erfolgreichen Einsatz in der Praxis.
