Zhen Li e il suo team hanno presentato il 7 ottobre 2026 una nuova tecnica chiamata TRIAGE. Opera nel formato nativo NVFP4, a 4 bit per pesi e attivazioni, per bilanciare gli aggiornamenti del gradiente della policy durante l’apprendimento per rinforzo. Il metodo individua le discrepanze a livello di segmento e applica correzioni entro limiti definiti, senza modificare l’esecuzione a bassa precisione. I test su Qwen3‑4B e Qwen3‑30B‑A3B hanno mostrato un addestramento stabile e una qualità pari a quella ottenuta con la precisione completa in cinque benchmark di ragionamento matematico, oltre a una velocità di generazione dei rollout fino a 2,3 volte superiore rispetto a BF16.
Perché conta
Consente agli sviluppatori di addestrare più rapidamente i modelli linguistici di grandi dimensioni su hardware a 4 bit senza perdere precisione, riducendo i costi di calcolo.
