Une équipe dirigée par Zhuo Sun a publié sur arXiv une méthode appelée Distributionally Robust Quantization (DRQ). Celle-ci ajuste les codes entiers des poids quantifiés afin de minimiser la perte de reconstruction dans le pire des cas, pour différentes distributions d’activations. Elle intervient après une quantification post-entraînement des poids uniquement, sans modifier la grille de quantification ni les opérateurs utilisés à l’inférence. Les expériences montrent que DRQ améliore les modèles déjà quantifiés avec six méthodes, dont AWQ, GPTQ et ParoQuant, qu’il s’agisse de LLM denses ou à mélange d’experts.
Pourquoi c'est important
Les développeurs peuvent ainsi déployer des LLM plus petits et plus rapides, avec une meilleure précision, sans changer de matériel ni ajouter de surcoût à l’exécution.
