پژوهشگرانی به سرپرستی Shiyu Ji روش RoLaQ را معرفی کردند؛ روشی برای کالیبره‌کردن کش‌های ۲بیتی کلیدـمقدار در سازوکار توجه نهفته چندسری. این روش، در حالی که وزن‌های مدل را ثابت نگه می‌دارد، چرخش و دامنه کوانتیزه‌سازی را به‌طور هم‌زمان تنظیم می‌کند. در آزمایش روی سه مدل و شش معیار، RoLaQ در میان روش‌های ۲بیتی بالاترین میانگین دقت را به دست آورد. پیاده‌سازی این روش در SGLang روی DeepSeek‑V2‑Lite، با پنجره زمینه 256K توکنی، ظرفیت کش را به 3.96 برابر کش BF16 و سرعت رمزگشایی را به 2.51 برابر رساند.
چرا مهم است
توسعه‌دهندگان مدل‌های زبانی با پنجره زمینه بلند می‌توانند بدون سخت‌افزار اضافه، ورودی‌های بزرگ‌تری را سریع‌تر پردازش کنند.
