Zhen Li och hans team presenterade en ny teknik vid namn TRIAGE den 7 oktober 2026. Den fungerar direkt i NVFP4, ett 4-bitarsformat för vikter och aktiveringar, och balanserar uppdateringar av policygradienter under förstärkningsinlärning. Metoden hittar avvikelser på segmentnivå och korrigerar dem inom begränsade ramar, utan att ändra körningen i låg precision. Tester med Qwen3‑4B och Qwen3‑30B‑A3B visade stabil träning och kvalitet i nivå med full precision på fem riktmärken för matematiskt resonemang. Samtidigt var utrullningen upp till 2,3 gånger snabbare än med BF16.
Varför det spelar roll
Metoden gör det möjligt för utvecklare att träna stora språkmodeller snabbare med 4-bitars hårdvara utan att förlora precision, vilket minskar beräkningskostnaderna.
