Zhuo Sun氏率いるチームが、Distributionally Robust Quantization（DRQ）という手法をarXivで公開した。DRQは、さまざまな活性化分布における最悪ケースの再構成損失を最小化するよう、量子化済み重みの整数コードを調整する。重みのみを対象とする学習後量子化の後に適用でき、量子化グリッドと推論演算子は変更しない。実験では、AWQ、GPTQ、ParoQuantなど6つの手法で量子化済みのモデルにDRQを適用すると、密モデルとMixture-of-Experts（MoE）型LLMのどちらでも性能が向上した。
なぜ重要か
ハードウェアを変更したり実行時の処理負荷を増やしたりせずに、より小型で高速なLLMを高い精度で展開できる。
