I ricercatori hanno presentato LayerTrim, una tecnica strutturata per potare i modelli linguistici di grandi dimensioni senza addestramento. Elimina gli strati ridondanti del decoder, lasciando intatti i meccanismi di attenzione: questo aiuta a mantenere le prestazioni nei compiti che richiedono ragionamenti articolati. Sul modello Qwen3 da 14 miliardi di parametri, LayerTrim rende la fase di prefill 1,24 volte più veloce e riduce del 19,7% il picco di memoria GPU rispetto al modello non potato. Nei test su tre modelli e cinque benchmark, ha migliorato l’accuratezza media fino a 21,4 punti rispetto al precedente metodo RESP.
Perché conta
Gli sviluppatori possono distribuire modelli linguistici più piccoli e veloci per attività di ragionamento senza costosi riaddestramenti.
