# RoLaQ دقت و سرعت کش ۲‌بیتی KV را بهبود می‌دهد

> روش تازه RoLaQ دقت و سرعت رمزگشایی را در کش‌های کم‌دقت کلیدـمقدارِ مدل‌های توجه نهفته چندسری افزایش می‌دهد.

Oossa · 2026-10-16 · https://oossa.com/fa/rolaq-improves-2-bit-kv-cache-accuracy-and-speed

پژوهشگرانی به سرپرستی Shiyu Ji روش RoLaQ را معرفی کردند؛ روشی برای کالیبره‌کردن کش‌های ۲‌بیتی کلیدـمقدار در سازوکار توجه نهفته چندسری. این روش، در حالی که وزن‌های مدل را ثابت نگه می‌دارد، چرخش و دامنه کوانتیزه‌سازی را به‌طور هم‌زمان تنظیم می‌کند. در آزمایش روی سه مدل و شش معیار، RoLaQ در میان روش‌های ۲‌بیتی بالاترین میانگین دقت را به دست آورد. پیاده‌سازی این روش در SGLang روی DeepSeek‑V2‑Lite، با پنجره زمینه 256K توکنی، ظرفیت کش را به 3.96 برابر کش BF16 و سرعت رمزگشایی را به 2.51 برابر رساند.

## حقایق

- RoLaQ در 14 Oct 2026 با شناسه arXiv 2610.20686 ثبت شد.
- این روش روی DeepSeek‑V2‑Lite ظرفیت KV را به 3.96× و توان عملیاتی رمزگشایی را به 2.51× رساند.

## چرا مهم است

توسعه‌دهندگان مدل‌های زبانی با پنجره زمینه بلند می‌توانند بدون سخت‌افزار اضافه، ورودی‌های بزرگ‌تری را سریع‌تر پردازش کنند.

## منابع و ارجاع‌ها

1. [RoLaQ: Joint Rotation and Range Calibration for 2-Bit KV Caches in Multi-Head Latent Attention](https://arxiv.org/abs/2610.20686) – arXiv cs.LG, 2026-10-16

آخرین به‌روزرسانی: 2026-10-16