# Yeni yöntem, düşük bitli LLM kuantizasyonunu hızdan ödün vermeden iyileştiriyor

> Araştırmacılar, eğitim sonrası kuantizasyondan sonra ağırlıkları iyileştiren Dağılımsal Sağlam Kuantizasyon (DRQ) yöntemini öneriyor. Yöntem, çeşitli tekniklerin performansını artırıyor.

Oossa · 2026-10-09 · https://oossa.com/tr/new-technique-improves-low-bit-llm-quantization-without-extra-inference-cost

Zhuo Sun liderliğindeki bir ekip, Dağılımsal Sağlam Kuantizasyon (DRQ) adlı yöntemi arXiv’de yayımladı. DRQ, farklı aktivasyon dağılımlarında en kötü durumdaki yeniden oluşturma kaybını en aza indirmek için kuantize edilmiş ağırlıkların tamsayı kodlarını ayarlıyor. Yalnızca ağırlıkların kuantize edildiği eğitim sonrası kuantizasyondan sonra çalışıyor; kuantizasyon ızgarasını ve çıkarım işleçlerini değiştirmiyor. Deneyler, DRQ’nun AWQ, GPTQ ve ParoQuant gibi altı yöntemle önceden kuantize edilmiş modellerin performansını hem yoğun hem de uzman karışımlı LLM’lerde artırdığını gösteriyor.

## Gerçekler

- Makale 2026-10-09’da yayımlandı ("Fri Oct 09 2026")
- DRQ, AWQ, GPTQ ve ParoQuant dâhil altı mevcut eğitim sonrası kuantizasyon yönteminin ağırlıklarını iyileştiriyor

## Neden önemli

Geliştiriciler, donanımı değiştirmeden veya çalışma zamanında ek yük oluşturmadan daha küçük ve hızlı LLM’leri daha yüksek doğrulukla kullanıma sunabilir.

## Kaynaklar ve referanslar

1. [When Lower Reconstruction Loss Hurts: Distributionally Robust Refinement for Low-Bit LLM Quantization](https://arxiv.org/abs/2610.11226) – arXiv, 2026-10-09

Son güncelleme: 2026-10-09