Zhuo Sun liderliğindeki bir ekip, Dağılımsal Sağlam Kuantizasyon (DRQ) adlı yöntemi arXiv’de yayımladı. DRQ, farklı aktivasyon dağılımlarında en kötü durumdaki yeniden oluşturma kaybını en aza indirmek için kuantize edilmiş ağırlıkların tamsayı kodlarını ayarlıyor. Yalnızca ağırlıkların kuantize edildiği eğitim sonrası kuantizasyondan sonra çalışıyor; kuantizasyon ızgarasını ve çıkarım işleçlerini değiştirmiyor. Deneyler, DRQ’nun AWQ, GPTQ ve ParoQuant gibi altı yöntemle önceden kuantize edilmiş modellerin performansını hem yoğun hem de uzman karışımlı LLM’lerde artırdığını gösteriyor.
Neden önemli
Geliştiriciler, donanımı değiştirmeden veya çalışma zamanında ek yük oluşturmadan daha küçük ve hızlı LLM’leri daha yüksek doğrulukla kullanıma sunabilir.
