Forskarna presenterade CERTA, en metod för att avgöra när en komprimerad klinisk språkmodell kan hantera ett verifieringsbeslut i stället för en större BF16-modell. Beslut som inte klarar CERTA:s statistiska kontroll skickas vidare till referensmodellen.
I tester av 11 modeller och 2 500 beslut klarade 8-bitarsversioner 99,8 % till 100 % av besluten i ett separat testmaterial, enligt studiens operativa analys. För två modeller med 72 miljarder parametrar hade utvalda 4-bitarskonfigurationer en uppskattad driftskostnad på omkring 26 % till 27 % av BF16-referensmodellens och en maximal minnesanvändning på under 48 GB. Forskarna testade inte driftsättning på just den hårdvaran, och resultaten gäller en klinisk verifieringsuppgift – inte klinisk vård i allmänhet.
Varför det spelar roll
För team som utforskar lokala system för klinisk verifiering pekar CERTA på ett sätt att låta billigare, komprimerade modeller hantera vissa beslut. Studien visar dock inte att metoden är säker eller fungerar för andra kliniska användningsområden eller vid driftsättning i verkligheten.
