Forskare under ledning av Shiyu Ji har presenterat RoLaQ, en kalibreringsteknik för 2-bitars nyckel-värdecacher i modeller med multi-head latent attention. Metoden justerar rotation och kvantiseringsintervall gemensamt, medan modellvikterna hålls oförändrade. I tester med tre modeller och sex benchmarktester gav RoLaQ högst genomsnittlig precision av alla 2-bitarsmetoder. På DeepSeek‑V2‑Lite uppnådde en SGLang-implementation 3.96 × BF16-cachekapaciteten och 2.51 × avkodningshastigheten med ett kontextfönster på 256K token.
Varför det spelar roll
Utvecklare av språkmodeller med långa kontextfönster kan köra större promptar snabbare utan extra hårdvara.
