Onderzoekers introduceerden CERTA, een methode om te bepalen wanneer een gecomprimeerd klinisch taalmodel een verificatiebeslissing kan afhandelen in plaats van een groter BF16-model. Beslissingen die niet door de statistische toets van CERTA komen, worden voorgelegd aan het referentiemodel.
In tests met 11 modellen en 2,500 beslissingen handelden 8-bitsversies in de operationele analyse van het onderzoek 99.8% tot 100% van de achtergehouden beslissingen af. Voor twee modellen met 72 miljard parameters kwamen de geschatte implementatiekosten van geselecteerde 4-bitsconfiguraties uit op ongeveer 26% tot 27% van die van het BF16-referentiemodel, met een piekgeheugengebruik van minder dan 48 GB. De onderzoekers testten de implementatie niet op die specifieke hardware. De resultaten hebben betrekking op een taak voor klinische verificatie, niet op klinische zorg in het algemeen.
Waarom het ertoe doet
Voor teams die lokale systemen voor klinische verificatie verkennen, biedt CERTA mogelijk een manier om sommige beslissingen door goedkopere, gecomprimeerde modellen te laten afhandelen. Het onderzoek toont echter niet aan dat die modellen veilig of doeltreffend zijn voor andere klinische toepassingen of bij implementatie in de praktijk.
