Forskare beskriver en metod för att snabba upp textgenerering med lång kontext i hybrida stora språkmodeller, utan att träna om modellerna eller ändra deras vikter. Metoden gör att varje lager med full uppmärksamhet fokuserar på nyligen inlästa token, ett fast förankrat prefix och ett begränsat urval relevanta token från den större kontexten.
I tester av sex modeller med 4 miljarder till 397 miljarder parametrar rapporterar forskarna samma träffsäkerhet som baslinjen på 21 dataset. För Qwen3.5-4B gick avkodningen av 256 000 token upp till 2,22 gånger snabbare. Det här är resultat som rapporteras i artikeln, inte en oberoende utvärdering.
Varför det spelar roll
För team som kör hybrida modeller med lång kontext skulle de rapporterade hastighetsökningarna kunna minska avkodningstiden utan att modellerna behöver tränas om. Artikeln visar dock inte hur metoden fungerar i deras egna system.
