Zhen Li en zijn team brachten op Oct 7 2026 een nieuwe techniek uit, TRIAGE genaamd. Die werkt binnen native NVFP4, een 4-bitformaat voor gewichten en activaties, om updates van policy gradients tijdens reinforcement learning in balans te brengen. De methode spoort afwijkingen op segmentniveau op en corrigeert die binnen begrensde marges, zonder de uitvoering in lage precisie te veranderen. Tests met Qwen3‑4B en Qwen3‑30B‑A3B lieten stabiele training en kwaliteit op het niveau van full precision zien op vijf benchmarks voor wiskundig redeneren. De rolloutsnelheid lag daarbij tot 2.3 keer hoger dan bij BF16.
Waarom het ertoe doet
Hiermee kunnen ontwikkelaars grote taalmodellen sneller trainen op 4-bit-hardware, zonder verlies van nauwkeurigheid. Dat bespaart rekenkosten.
