I ricercatori descrivono un metodo per accelerare la generazione di testi con contesti lunghi nei modelli linguistici di grandi dimensioni ibridi, senza riaddestrarli né modificarne i pesi. Il metodo fa sì che ogni livello di attenzione completa si concentri sui token più recenti, su un prefisso fissato e su un insieme limitato di token pertinenti selezionati dal contesto più ampio.
Nei test condotti su sei modelli con un numero di parametri compreso tra 4 miliardi e 397 miliardi, i ricercatori riferiscono un’accuratezza pari a quella di riferimento su 21 dataset. Con Qwen3.5-4B, la decodifica di 256,000 token è stata fino a 2.22 volte più rapida; si tratta dei risultati riportati nello studio, non di una valutazione indipendente.
Perché conta
Per i team che utilizzano modelli ibridi con contesti lunghi, gli incrementi di velocità riportati potrebbero ridurre i tempi di decodifica senza riaddestramento, anche se lo studio non dimostra come il metodo si comporti sui loro sistemi.
