گروهی به سرپرستی ژوئو سان روشی به نام کوانتیزه‌سازی مقاوم در برابر توزیع (DRQ) را در arXiv منتشر کردند. DRQ کدهای صحیح وزن‌های کوانتیزه‌شده را طوری تنظیم می‌کند که بیشترین خطای بازسازی در توزیع‌های گوناگونِ فعال‌سازی به حداقل برسد. این روش پس از کوانتیزه‌سازی پس از آموزشِ صرفاً وزن‌ها اجرا می‌شود و شبکهٔ کوانتیزه‌سازی و عملگرهای استنتاج را تغییر نمی‌دهد. آزمایش‌ها نشان می‌دهند DRQ مدل‌هایی را که با شش روش کوانتیزه شده‌اند، از جمله AWQ، GPTQ و ParoQuant، در مدل‌های زبانی بزرگِ متراکم و مبتنی بر ترکیب متخصصان بهبود می‌دهد.
چرا مهم است
این روش به توسعه‌دهندگان امکان می‌دهد مدل‌های زبانی بزرگ‌ترِ کم‌حجم‌تر و سریع‌تر را با دقت بهتر به کار بگیرند، بی‌آنکه سخت‌افزار را تغییر دهند یا سربار زمان اجرا اضافه کنند.
