Oossa

RL-finetuning verhoogt herhaalbaar succes van Qwen3.8‑27B op ThinkingBox

Na 50 stappen training met offline geselecteerde taken steeg het aantal taken dat Qwen3.8‑27B altijd goed uitvoerde van 38 naar 107 op de ThinkingBox‑Bench met 507 taken.

Kort berichtDoor Gepubliceerd door Oossa: 1 min lezen

Microsoft en Hugging Face hebben de code voor ThinkingBox‑Training op GitHub gepubliceerd. Ze gebruikten een beloning op basis van controles van de databasestatus om het model Qwen3.8‑27B te finetunen. Na 50 GRPO-stappen steeg de pass@1-score van het model van 51.70% naar 60.78%. Ook nam het aantal taken dat het bij alle 20 pogingen goed uitvoerde toe: van 38 (7.5%) naar 107 (21.1%). Daar stond een bescheiden daling van de dekking bij ten minste één geslaagde poging tegenover.

Waarom het ertoe doet

Voor bedrijven die betrouwbare database-updates nodig hebben, is de kans met het gefinetunede model ongeveer drie keer zo groot dat een taak elke keer goed wordt uitgevoerd.

Was dit artikel nuttig?
Delen

Lees ook

Oossa · Nieuwsbrief

De AI-week, uitgelegd

Elke maandag: het nieuws dat ertoe doet, in gewone taal. Gratis, geen spam.