# روش تازه، کوانتیزه‌سازی کم‌بیتی مدل‌های زبانی را بهبود می‌دهد

> پژوهشگران روش کوانتیزه‌سازی مقاوم در برابر توزیع (DRQ) را برای اصلاح وزن‌ها پس از کوانتیزه‌سازی پس از آموزش پیشنهاد کرده‌اند؛ روشی که عملکرد چندین روش را بهبود می‌دهد.

Oossa · 2026-10-09 · https://oossa.com/fa/new-technique-improves-low-bit-llm-quantization-without-extra-inference-cost

گروهی به سرپرستی ژوئو سان روشی به نام کوانتیزه‌سازی مقاوم در برابر توزیع (DRQ) را در arXiv منتشر کردند. DRQ کدهای صحیح وزن‌های کوانتیزه‌شده را طوری تنظیم می‌کند که بیشترین خطای بازسازی در توزیع‌های گوناگونِ فعال‌سازی به حداقل برسد. این روش پس از کوانتیزه‌سازی پس از آموزشِ صرفاً وزن‌ها اجرا می‌شود و شبکهٔ کوانتیزه‌سازی و عملگرهای استنتاج را تغییر نمی‌دهد. آزمایش‌ها نشان می‌دهند DRQ مدل‌هایی را که با شش روش کوانتیزه شده‌اند، از جمله AWQ، GPTQ و ParoQuant، در مدل‌های زبانی بزرگِ متراکم و مبتنی بر ترکیب متخصصان بهبود می‌دهد.

## حقایق

- مقاله در 2026-10-09 منتشر شد («جمعه 09 اکتبر 2026»)
- DRQ وزن‌ها را برای شش روش موجود PTQ، از جمله AWQ، GPTQ و ParoQuant، اصلاح می‌کند

## چرا مهم است

این روش به توسعه‌دهندگان امکان می‌دهد مدل‌های زبانی بزرگ‌ترِ کم‌حجم‌تر و سریع‌تر را با دقت بهتر به کار بگیرند، بی‌آنکه سخت‌افزار را تغییر دهند یا سربار زمان اجرا اضافه کنند.

## منابع و ارجاع‌ها

1. [When Lower Reconstruction Loss Hurts: Distributionally Robust Refinement for Low-Bit LLM Quantization](https://arxiv.org/abs/2610.11226) – arXiv, 2026-10-09

آخرین به‌روزرسانی: 2026-10-09