Onderzoekers beschrijven een manier om tekstgeneratie met lange context in hybride grote taalmodellen te versnellen, zonder die opnieuw te trainen of de gewichten aan te passen. Bij hun methode richten alle lagen met volledige aandacht zich op recente tokens, een vastgezette prefix en een beperkte selectie relevante tokens uit de bredere context.
In tests met zes modellen met 4 miljard tot 397 miljard parameters melden de onderzoekers dat de basisnauwkeurigheid op 21 datasets wordt geëvenaard. Bij Qwen3.5-4B was het decoderen van 256,000 tokens tot 2.22 keer zo snel; dit zijn de resultaten die in het artikel worden gerapporteerd, geen onafhankelijke evaluatie.
Waarom het ertoe doet
Voor teams die hybride modellen met lange context gebruiken, kunnen de gemelde snelheidswinsten de decodeertijd verkorten zonder dat hertraining nodig is. Het artikel toont echter niet aan hoe de methode presteert in hun eigen systemen.
