研究者らは、圧縮した臨床言語モデルに検証の判断を任せられるかどうかを見極める手法「CERTA」を発表した。CERTAの統計的チェックを通らなかった判断は、参照モデルである、より大規模なBF16モデルに回される。
11モデル、2,500件の判断を対象にしたテストでは、運用を想定した分析において、8ビット版モデルが評価用データの判断の99.8%～100%を処理した。パラメーター数720億の2モデルでは、選定された4ビット構成の推定導入コストはBF16の参照モデルの約26%～27%で、ピークメモリー使用量は48 GB未満だった。ただし、研究者らはその特定のハードウェアでの導入を検証していない。また、結果が対象とするのは臨床検証タスクであり、臨床ケア全般ではない。
なぜ重要か
ローカルで動作する臨床検証システムを検討するチームにとって、CERTAは一部の判断をより低コストな圧縮モデルに振り分ける方法となる可能性がある。ただし、この研究は他の臨床用途や実環境での導入における安全性・性能を示すものではない。
