Onderzoekers van Perplexity en NVIDIA maakten JOLT bekend, een methode voor gezamenlijke reinforcement learning met een leraar en een leerling. Na de hoofdfase van de training leert één model zowel als leraar als leerling. Op de MATH-benchmark behaalde JOLT dezelfde nauwkeurigheid als de GRPO-methode, maar met 6,5 keer minder trainingstokens. Het resultaat laat zien hoe de efficiëntie kan worden verbeterd zonder de modelarchitectuur te veranderen.
Waarom het ertoe doet
Onderzoekers kunnen modellen goedkoper finetunen, waardoor labs met beperkte rekenbudgetten gemakkelijker toegang krijgen tot krachtige modellen voor wiskundig redeneren.
