Onderzoekers onder leiding van Yifan Yu introduceerden ORL, een methode voor on-policy residueel leren voor diffusi taalmodellen. ORL traint het model op zijn eigen voorspellingspaden en voegt een verliesfunctie voor entropiecontractie toe om de uitvoer aan te scherpen. Op een model met 4B parameters, afgeleid van Qwen3‑4B, verhoogde ORL het aantal tokens per forwardpass met maximaal 6,2× en de totale doorvoer met ongeveer 6,9×. De kwaliteit was daarbij gelijk aan of beter dan die van autoregressieve modellen. Dezelfde techniek zorgde voor 1,5× meer snelheid op LLaDA‑2.1‑mini en voor bescheiden winst op DiffusionGemma.
Waarom het ertoe doet
Ontwikkelaars kunnen tekst sneller en in hoge kwaliteit genereren op GPU’s voor consumenten, waardoor de kosten en latentie dalen voor toepassingen als chatbots.
